项目名称:基于红外传感器的姿态识别
项目背景:随着生活水平的提高,智能家居也已经越来越普及,利用红外阵列传感器的智能家居进行人体姿态识别,有助于在识别人体姿态
的同时,根据人体的行为家居设备进行相应的操作。
项目描述:
一、需求分析:通过光学摄像头结合红外传感器记录人体姿势行为,家居设备根据人类的姿态判断人的行为进行相应的控制,现有的技术可以实现热感图人体姿态识别。
二、数据获取:数据来源于甲方,一方面是光学摄像头记录的数据,这些数据通过openpose算法打好18个关键点的标签,另一方面就是红外传感器获得的热感图数据,前者的标签和后者的图的关键点一一对应,以此作为训练数据,并且进行图像增强、清洗不相关数据。
三、模型构建和模型训练:模型采用的是3d卷积的方式来处理,五层3d卷积和四层3d反卷积(光学摄像头和红外传感器的热感图是利用时间戳来进行一一对应),设计好之后,将数据放到模型里进行训练,观察训练过程中的热感图关键点实时检测情况,检查精度。
四、模型优化:采用更好优化器adm、激活函数使用leakey,通过调整学习率衰减公式中的local_step优化学习率经过模型训练优化,模型准确率达到96.98%。
五、模型部署:模型部署在服务器上,有服务器对数据进行预测处理,光学摄像头和红外传感器只是存储数据的媒介。