内部数字人平台
项目背景:
对工厂的员工进行培训所使用的内部数字人平台,数字人使用培训pptx对工厂的员工进行培训,让员工更加清楚的了解工厂的制度和工作内容,节省了工厂的人力资源。技术栈:
Linly-Talker, Cosyvoice, GPT-Sovice, Wav2Lip, FastSpeech, PowerPoint, LibreOffice主要职责:
·基于GPT-SoVITS和FastSpeech快速搭建语音能力,验证数字人培训场景可行性引入Cosyvoice后,主导代码重构与参数调优,解决此模型在语音合成过程中的漏洞解决断句逻辑、音色一致性、长文本合成卡顿等核心问题
数字人平台新功能的开发,数字人可以结合pptx进行生成
数字人平台在生成视频完成后出现文件丢失的漏洞修复个人成果:
对Cosyvoice语音合成进行了代码优化,修复了模型在合成过程中断句不正确的漏洞增加了平台数字人结合pptx进行培训演讲的功能
修复了数字人平台在生成完成后因文件名称不正确导致文件丢失的漏洞
RAG问答系统
项目背景:
为一个医疗平台升级问答系统,传统方案常因专业术语理解偏差导致误诊风险,例如“持续低烧伴随关节痛”等复杂症状响应不完整。当时团队决定将三十余万条医院脱敏病历和医学指南文档,搭建一个能理解医疗场景语义、同时具备专业知识溯源能力的对话系统,目标是让医疗问答既能像主任医师一样专业,又能像门诊沟通一样自然。技术栈:
PEFT、 Llama-Factory、 Qwen , LLaMA-1、 ChatGLM-6B、 vllm , LangChain 、 Dify、RagFlow、 mysql, neo4j、 Bge-Reranker, Bge-L arge、 Mcp、 magic-pdf主要职责:
·模型微调、部署,对比并测试不同模型在节点下的能力。
通过不断模拟与用户问答和添加大量提示词,使用重排序对返回信息语义进行相似度排序,返回较高语义信息。
构建完整的RAG工作流,根据用户需求添加其工作流内的功能。项目成果:
成功稳定代理的回答精准度,明确回答客户的指令,给出最快最优解。
有效解决了专业人才紧缺的问题,增强客户互动体验,提高沟通效率。
模型微调
项目背景:
通过微调技术对模型进行优化,重构大模型认知架构,使其在保持通用语义理解能力的同时,具备“真人医师”的身份认知和场景化对话能力。技术栈:
PEFT、 LLaMA-1, ChatGLM-6B
主要职责:
使用PEFT实施微调,优化模型的对话生成能力,使其能够精准使用专业话术并建立正确的身份认知。
项目成果:
实现模型与用户就专业领域话题的精准沟通。
提升了医疗场景下的对话质量和适应性。