项目一:Web端AR试鞋。独立负责从数据构建、算法选型、模型训练到浏览器部署的全链路研发。基于YOLOv8-pose实现足部关键点检测,结合PnP求解足部3D姿态,并使用One Euro Filter降低时序抖动。构建WebGPU、WebGL、WASM三级自适应推理后端,模型链路控制在7MB以内,多款移动设备达到15–30FPS。
项目二:人体动作计数与评分系统。面向健身与K12体育场景,基于人体关键点设计关键帧状态机、容差窗口匹配及三段式实时评分机制,实现仰卧起坐、俯卧撑、开合跳、广播体操等动作的自动计数与评分。使用MediaPipe封装计算图,完成Android、iOS及桌面端部署,相关产品已上线,核心方法获得发明专利。
项目三:端侧行为识别。使用BlazePose提取人体骨骼序列,训练轻量级DD-Net行为识别模型,通过粗分类与子模型级联改善相似动作误判。完成TFLite int8量化和MediaPipe封装,并部署至Android及iOS,实现端侧实时推理。
项目四:单目视频人体3D重建。基于4D-Humans实现多人3D人体网格重建与跨帧追踪,使用Kalman Filter平滑关键点轨迹,并在SMPL参数空间进行时序平滑,提高重建结果的连贯性和视觉稳定性。