项目背景:针对宠物皮肤问题高发但主人缺少即时专业判断渠道的痛点,开发一款AI赋能的健康管理工具。用户通过小程序上传宠物患处图片或文字描述,系统利用AI模型自动推断问题类型、评估医疗等级并给出护理建议。
主要功能:
多模态问诊:支持图片+文字混合输入,用户拍照上传宠物皮肤异常区域,并可补充症状描述文字。
AI智能诊断:图像路径使用YOLO目标检测模型定位皮肤病灶区域;文本路径使用大模型(如Qwen/GLM)解析用户描述;最终将视觉特征与语义信息融合,综合推断可能的皮肤问题类型(如真菌感染、湿疹、寄生虫叮咬等)。
医疗等级评估:按问题严重程度输出分级结果(如绿色-居家护理、黄色-需门诊检查、红色-紧急就医),并附带对应的护理建议或用药参考。
健康档案记录:每次诊断结果自动归档,生成宠物健康时间轴,方便主人追踪病情变化。
技术实现:
前端:微信小程序,实现图片上传、文字输入、诊断报告展示与健康档案查看。
后端:使用FastAPI构建API服务,处理图片存储、模型调用及结果返回。YOLO模型部署在GPU后端进行推理,大模型通过API调用(如通义千问)完成文本分析。
数据融合:设计简单的规则引擎或轻量级融合策略,将YOLO输出的病灶标签与LLM输出的描述理解合并,输出最终诊断结论。
我的职责:独立完成全流程开发,包括:
需求梳理与功能设计;
YOLO模型的选型、训练/微调(使用公开宠物皮肤数据集)及推理接口封装;
大模型API接入与prompt工程调优;
小程序端UI设计与前后端联调;
诊断记录的数据存储与健康档案管理逻辑实现。
结果产出:
支持常见的猫狗皮肤问题识别,top-3诊断准确率在测试集上达到约85%;
从用户上传到获取诊断报告,全流程控制在5秒以内;
目前已作为个人工具稳定运行,为数十位宠物主人提供了免费诊断参考,反馈实用性强。
需求方专属客服,免费梳理匹配