家庭智慧IPC相机行为识别系统
案例介绍
多模态大模型微调：使用OpenCLIP模型进行LoRA低秩适配微调，针对家庭场景中的宠物奔跑、睡觉、进食等行为进行识别。仅微调少量参数即可适配新场景，训练成本低、部署灵活，相比全量微调大幅减少训练资源和时间。
嵌入式芯片适配：完成YOLOv11在Sigmastar 2386、瑞芯微RK1106、富瀚8856v500三款芯片上的适配部署。其中针对Sigmastar 2386芯片深入修改CLIP图像编码器SDK源码，解决常量取值范围及量化算法对激活值极值转化容忍度问题，使大模型能够在低端芯片上稳定运行。
模型压缩：通过模型蒸馏压缩技术，在保证精度的前提下降低模型体积与推理延迟，满足嵌入式设备的算力与内存约束。
本人角色：负责OpenCLIP LoRA微调方案实现、三款芯片的SDK适配与模型部署、模型蒸馏压缩全流程工作。
技术栈：OpenCLIP、LoRA微调、YOLOv11、Sigmastar/瑞芯微/富瀚SDK、模型蒸馏
家庭智慧IPC相机行为识别系统
案例介绍
本项目为家庭场景下IPC智能相机的宠物行为识别系统，将多模态大模型能力下沉到资源受限的嵌入式设备，实现家庭场景中宠物行为的智能分析。
多模态大模型微调：使用OpenCLIP模型进行LoRA低秩适配微调，针对家庭场景中的宠物奔跑、睡觉、进食等行为进行识别。仅微调少量参数即可适配新场景，训练成本低、部署灵活，相比全量微调大幅减少训练资源和时间。
嵌入式芯片适配：完成YOLOv11在Sigmastar 2386、瑞芯微RK1106、富瀚8856v500三款芯片上的适配部署。其中针对Sigmastar 2386芯片深入修改CLIP图像编码器SDK源码，解决常量取值范围及量化算法对激活值极值转化容忍度问题，使大模型能够在低端芯片上稳定运行。
模型压缩：通过模型蒸馏压缩技术，在保证精度的前提下降低模型体积与推理延迟，满足嵌入式设备的算力与内存约束。
本人角色：负责OpenCLIP LoRA微调方案实现、三款芯片的SDK适配与模型部署、模型蒸馏压缩全流程工作。
技术栈：OpenCLIP、LoRA微调、YOLOv11、Sigmastar/瑞芯微/富瀚SDK、模型蒸馏
案例图片
相似案例推荐
-
全自动智能炒菜机
全自动智能炒菜机通过嵌入式控制技术、智能传感技术以及自动化执
-
全自动智能炒菜机
全自动智能炒菜机通过嵌入式控制技术、智能传感技术以及自动化执
-
PCB金手指加工智能斜边机床控制系统
一、作品概述 PCB金手指加工智能斜边机床控制系统是深圳市
-
嵌入式轻量化视觉采集检测系统
独立完成资源受限单片机平台的嵌入式视觉系统开发，适配无专用图
-
硬壳乐
项目描述：项目为无人职守DIY手机壳打印设备，实现了在线、离
-
欧颜印象
项目描述：项目为无人职守大头贴照片拍摄设备，实现了在线、离线
1小时精推人才
需求方专属客服，免费梳理匹配
