项目1、音视频推流APP及核心SDK开发
为了解决安全员和领导在任何时刻都能实时获取现场情况的需求,同时为了降低大规模部署时的高昂成本,我独立完成了基于
C++、NDK 以及 JNI 技术的音视频推流 APP 的核心模块开发。该项目的目标是创建一个能在个人手机上安装并能替代市场上高成本智能安全帽产品的音视频推送解决方案。
【开发语言及技术】c/c++ java android ndk jni gb28181协议 sip 协议 rtp webrtc android arm/arm64 ios
【实现目标与功能】
1、嵌入式推流客户端开发:设计并实现了稳定可靠的音视频推流客户端,该客户端通过C++及 Android NDK 进行底层优化,能够将现场的视频和音频实时、高效地推送到安全生产平台,确保中心用户能够随时查看和监控现场实况。
2、 双向语音对讲功能:在保证音视频稳定传输的基础上,进一步集成双向实时语音对讲功能。这一功能允许中心用户发起与现场人员的即时语音通话,以便进行及时指导与工作纠正。
3、 通话质量优化:针对语音对讲模块进行了深度优化,有效提升了通话音质和稳定性,确保了在实时对讲过程中声音清晰流畅,满足紧急调度和远程指挥的高质量通信需求。
4、 项目成果与应用: 该项目完成后的音视频推流 APP 已在达旗持续正常使用中,为企业节省大笔购买智能安全帽的费用,受到客户的肯定与好评;所开发的核心模块以动态库形式供 Android 端集成,并生成 iOS 端静态库供 iOS 应用程序调用,充分体现了跨平台兼容性和高性能处理能力。
项目2、智能多路视频AI检测/分析/报警
在边端服务器或边缘盒子上进行多路视频流的拉流,完成报警事件检测,图片留证、前后30秒视频留证、报警事件推送至订阅第
三方平台,AI 处理后的视频推流(RTMP/FLV),使用户能够在视频无人值守时,快速获取用户关心的异常事件,保障现场生产环境的安全及规范生产。
【项目成果】
目前已在舟山和达旗进行长时间的实际应用,智能识别报警事件并进行推送。效果良好。
1、达旗纪律示险(睡岗检测、玩手机检测)
2、 舟山管道公司(人员徘徊、大型车辆施工、明火检测)
【项目职责】
基于 NVIDIA deepstream AI 框架的边端智能并行多路视频 AI 检测、分析、报警一体化解决方案,均由本人完成,主要工作如
下:
1、视频流 url 配置
2、 对接 AI 算法模型,对视频进行编解码、模型推理识别能够进行硬件及系统级别的加速及优化,使多路摄像头并行 AI 智能识别更流畅,能够长时间进行稳定运行;
3、 deepstream 管道中获取的图片后处理(opencv/ffmpeg )等;
4、 AI 处理后的视频推流(SRS/ZLMediaKit RTSP RTMP FLV);
5、 告警生成及推送(告警时刻的图片、告警前后一段时间的短视频);
6、 实现边缘服务器及边缘盒子上整体交付的快速(docker )容器化部署。