独立完成基于Flask和计算机视觉的鼻饲术操作技能自动化考核系统,覆盖15个临床操作步骤的全流程智能评分。系统接入4路RTSP摄像头实时采集视频流,集成MediaPipe手势识别(七步洗手法逐步骤判定)、YOLO
OBB旋转目标检测(19类医疗器械逐项识别)、MediaPipe手部关键点检测(双手分区定位+持续时长判定)以及DTW动态时间规整(操作动作序列分析)等多种AI检测技术,实现对护生操作动作的毫秒级自动判定。同时集成阿里云DashScope实时语音识别(ASR )与通义千问大语言模型(LLM)评分引擎,对术前查对、术前沟通、体位选择、安抚患者等语音环节进行语义理解与百分制打分。后端采用无状态步骤调度架构,支持多步骤并行检测互不干扰,通过SSE(Server-Sent
Events)实时向业务后端推送检测结果、步骤得分及耗时。模型启动时统一预加载,步骤间共享HandLandmarker/YOLO/GestureRecognizer实例,有效降低内存占用和冷启动延迟。