项目一:监控相机的算法优化与模型封装部分。监控相机的项目实际包含多个业务,如松林病变木检测监控、复杂场景漏油监控检测等。主要承担的职责是数据挖掘、数据预处理、模型搭建与训练、模型部署、性能优化。例如松林病变木监控的项目会使用到语义分割模型,漏油检测会使用到目标检测模型,模型部署需要将训练好的模型嵌入到硬件中来实际使用,项目中使用的硬件环境是瑞芯微提供的rk3588开发板,性能优化主要是使用opencl来对一些前处理和后处理算法进行并行计算,相机每秒处理帧率(fps)与使用cpu相比提高了10倍。
项目二:模型算法库封装。对于公司常用到的一些算法库,需要封装成一个工具,前端技术使用QT窗体开发,后端使用C++语言进行编写,这样训练模型就可以使用实用工具傻瓜式地完成,对于一些不懂得深度学习相关技术的员工来说,也可以简单培训后很容易的上手。