技术实现:
后端架构:使用 FastAPI + Uvicorn 搭建高性能 Web 服务,处理实时视频流输入与分发,确保系统能够高效处理大量数据。
AI 模型集成:
将视频流实时传输至 Qwen-VL 多模态大模型进行图像识别与分析,检测预设危险场景。
将预警信息、事件日志结构化存储为本地 RAG 知识库,便于后续查询和分析。
通过 WebSocket 实现与前端实时双向通信,接收用户输入,调用后端服务与 Moonshot API 交互,基于本地知识库生成上下文相关的安全响应。
数据处理:设计并实现预警信息、分析结果、用户交互日志的存储与检索方案,确保数据的完整性和可追溯性。
项目成果:
系统成功部署在学校校园监控系统中,有效提升了校园安全监控的自动化和智能化水平。
通过本地部署的 Qwen-VL 模型,显著减少了 API 调用的开销,提高了系统的响应速度和稳定性。
个人贡献:
负责后端服务的开发和优化,确保系统能够高效处理实时视频流。
参与 AI 模型的集成和优化,确保系统能够准确识别危险行为并及时发出预警。
设计并实现数据存储和检索方案,确保预警信息和用户交互日志的完整性和可追溯性。