本项目为机场安全场景下的多模态智能监测系统,涵盖极小目标检测、视频行为合规分析、多目标跟踪三大核心能力。
极致性能优化:在昇腾芯片上实现硬解码YUV420图像直接进行NPU推理,推理结果直接在YUV图像上画框,再通过硬编码推流输出,全程无需转换为RGB格式,大幅降低内存开销和延迟,达到嵌入式设备的极致性能表现。
算法研发:针对机场远距离极小目标检测难题,对YOLO网络结构进行针对性改进,提升极小目标的召回率和定位精度。利用QwenVL2.5大模型加LoRA微调技术进行视频行为合规分析,确保机场作业行为符合安全规范。采用ByteTracker结合传统图像处理的二次帧差方式,实现复杂场景下的稳定多目标跟踪。
本人角色:担任算法负责人,负责昇腾芯片算法移植全流程、核心检测算法研发、多模态分析方案设计及团队技术管理。
技术栈:昇腾CANN、PyTorch、QwenVL2.5、LoRA微调、YOLO改进版、ByteTracker