项目简介:Linly-Talker项目是一个专注于智能手机参数深度解析的助手平台。该平台采用全新优化的Linly-Talker模型作为核心,集成了自然语言处理、深度学习和计算机视觉等前沿技术,旨在为用户提供一种智能、高效且互动性强的手机参数查询与对比体验。通过与Linly-Talker模型的互动,用户可以轻松获取手机性能的全面评估、参数的详细对比,以及基于专业数据的客观分析,从而帮助他们在众多手机产品中做出更加明智的选择。
使用相关技术:
Qwen2-14b,funAsR, PaddleTTs ,GPT-sovlTS,Gradio,RAG, agent,text2sql,flask,wav2lip
项目流程:
创建一个智能手机参数解析助手平台,该平台能够智能地解析、查询和对比手机参数。
集成数字人功能,通过数字人参数回答用户的问题,提供直观且互动性强的体验。
数字人参数回答:根据用户提问,数字人能够展示相应的手机参数并给出解析。
语音识别:使用funasr进行语音识别,将用户语音转换为文本,以便后续处理。
问题回答:通过预训练的agent模型或自定义逻辑回答用户的问题。
语音合成:使用GPT-SoVITS将回答文本合成为语音。
唇形同步视频生成:使用wav2lip技术将语音与数字人图片进行唇形同步,生成视频回答。
用户通过语音或文本方式向平台提问。
平台通过数字人视频回答用户的问题,展示手机参数解析结果。