基于ESP32-S3 CSI多节点发送和人工智能推理的实时骨骼追踪
1. 立项原因
传统基于摄像头的人体姿态识别依赖光学成像，存在隐私泄露风险（需拍摄人体图像）和环境依赖（光照、遮挡影响精度）。本项目利用WiFi CSI（信道状态信息）信号，通过分析WiFi信号在人体动作下的微小变化，实现无摄像头、非接触式的骨骼追踪，保护用户隐私的同时降低硬件成本。
2. 旨在解决的问题
隐私安全：无需摄像头，不采集图像/视频，仅利用WiFi信号波动
环境适应性：不受光照、遮挡、黑暗环境影响，可穿透非金属障碍物
低成本部署：利用现有WiFi基础设施，无需额外传感器
实时性：边缘端推理，毫秒级响应，支持实时交互
3. 行业场景
表格
场景 应用
智慧养老 独居老人跌倒检测、异常行为预警、健康监测
智能家居 手势控制家电、人体存在感应、姿态交互
安防监控 敏感区域无感监测、入侵行为识别
康复医疗 患者动作评估、康复训练量化分析
健身运动 动作纠正、训练效果评估、虚拟教练
4. 业务背景
随着WiFi 6/7普及和边缘AI算力提升，CSI信号分析成为新兴研究方向。现有方案多依赖深度学习+摄像头（如MediaPipe、OpenPose），但隐私争议大。本项目创新性地将时序卷积网络（TCN）与多天线WiFi CSI数据结合，通过3个ESP32-S3发送端采集186维信道状态信息，训练端到端的姿态估计模型，实现纯WiFi信号驱动的14关节点骨骼追踪，填补了隐私友好型姿态感知的技术空白。

功能介绍
主要功能模块
表格
模块 功能
CSI数据采集 3个ESP32-S3发送端同步发射WiFi信号，接收端捕获186维信道状态信息
视频姿态标注 MediaPipe提取14关节点真值坐标，建立CSI-骨骼映射标签
数据预处理 时序对齐、带通滤波去噪、滑动窗口切分，生成(3,186,100)输入张量
TCN模型训练 时序卷积网络学习CSI到骨骼坐标的端到端映射，输出14×2关节坐标
实时推理 串口接收CSI流，GPU推理预测骨骼位置，可视化热力图
核心功能描述
系统通过WiFi信号感知人体姿态：多节点CSI数据经预处理后输入TCN模型，实时输出14个骨骼关节点坐标，支持动作识别与姿态追踪，无需摄像头即可实现隐私安全的无接触人体感知。

项目实现
负责任务
硬件部署（3路ESP32-S3发送端+接收端）、CSI数据采集、视频同步标注、TCN模型训练、实时推理部署。
技术栈
ESP-IDF、PyTorch、MediaPipe、OpenCV、NumPy/SciPy、PlatformIO。
架构
边缘采集（ESP32）→ 数据预处理（Python）→ TCN深度学习（PyTorch）→ 实时推理可视化。
亮点
纯WiFi信号驱动骨骼追踪，零隐私风险；多发送端空间分集提升精度。
难点
CSI信号微弱且噪声大，时序对齐复杂；模型需在低延迟下保持关节定位精度。