个人技能:
1. 精通LLM算法RAG开发与调优,具备多种微调方法,包括P-tuning和lora。
2. 精通Agent开发,熟练搭建MCP协议相关工程。
3. 精通Python高级编程,熟练使用NLP相关的Python库,如scikit-learn和Transformers(Hub)。
4. 熟练使用Cursor、Trae等辅助开发工具。
5. 可以独立复现论文中的调优算法。
6. 掌握NLP基本算法,涵盖知识图谱构建、意图理解、文本分类、实体抽取及对话问答等。
7. 熟悉模型压缩技术,如模型量化和模型蒸馏。
8. 熟悉BERT、GPT和ChatGLM等预训练模型的结构和原理。
9. 熟练使用Pytorch框架,掌握Transformer原理及Attention机制的实现。
10. 掌握深度学习算法,包括CNN、RNN、LSTM和GRU等。
11. 熟练使用Pycharm、Jupyter Notebook和Linux等开发环境。
12. 熟练使用Numpy和Pandas,用于数据清洗、数据分析和可视化。
13. 了解分类、回归和聚类等机器学习算法的原理,能够结合实际业务进行应用。
14. 熟练掌握MySQL数据库,能编写较复杂的SQL,并具备一定的SQL优化能力。
15. 语言:英语(CET-4),具备良好的听说读写能力,能够阅读英文文档和论文。
16. 在老师的指导下,带领团队获得2024网络技术挑战赛华北赛区三等奖,作品是基于OpenCV的车道偏离检测系统及安全驾驶。
第一个项目:本项目致力于构建一个基于电商领域知识图谱与用户行为数据的智能客服系统,旨在为用户提供高效、精准的商品咨询、订单追踪以及售后问题解答服务。系统通过深度分析用户输入的咨询内容,精准识别用户需求,并借助知识图谱的强大语义关联能力和多轮对话管理机制,实现智能化、个性化的客户服务,显著提升客户咨询响应速度与服务满意度。
1.数据整理与分析:收集并清洗相关数据。
2.商品实体识别与提取:采用BiLSTM+CRF模型从用户咨询内容中提取关键实体。
3.实体合规性审核:基于BERT预训练模型进行语义编码,通过RNN实现二分类任务,判断提取的实体是否符合平台规则。
4.电商知识图谱构建:基于Neo4j构建知识图谱。
5.开发支持Cypher查询的KBQA系统。
6.搭建向量库:基于LangChain加载器对文档进行加载和分割,然后进行向量化存入Milvus向量数据库。其支持4个collections:商品属性库、促销规则库、售后政策库、用户评价库。
7.意图识别:用Bert预训练模型对用户的意图进行判断并归为四类。
8.基于LangChain搭建RAG系统,使用BM25与语义检索(BGE)进行混合检索,ReRank重排序后返回Top6相似文本;通过Prompt模板动态整合检索结果与用户输入,并调用Qwen2.5-7b模型生成对话结果。
9.模型评估:自动评估方面使用RagAS工具评估,答案相关性0.82,人工评估1000条测试集准确率90%以上。
10.模型优化:Prompt引入Few-shot Prompt模板;Qwen2.5-7b模型进行LoRA微调并在LLM推理阶段使用vLLM动态批处理,使吞吐量增长3.2倍。
第二个项目:为突破单一系统文本处理局限,该项目构建多智能体协同体系,通过 MCP 协议实现智能体间高效通信与指令交互,提升文本处理效率与质量。各智能体可完成智能问答、教案生成、资料整编等操作,同时具备用户权限管理功能,能基于角色精准管控权限,覆盖知识查询、内容创作、信息梳理等场景,打造安全高效的文本处理解决方案。
1、用户权限分为知识库权限、文档权限、标签权限,知识库和文档权限通过数据库表字段实现控制,而标签权限通过在向量数据库加入元数据标签来控制。我负责设计标签权限。
2、使用python代码独立完成权限控制对应后端内容的编写,包括从数据库中获取权限数据,再到去向量库中检索的代码。
3、开发MCP功能,实现链条式调用多智能体,搭建MCP客户端、服务器以及提示词工程
4、为题库生成智能体开发核心算法以及提示词工程。
5、在论文中寻找RAG系统调优方法,并独立复现其中算法。
6、试卷生成智能体中独立完成其中重点内容与文档片段的相似度匹配优化工作,最终选用bert-base和bge-rerank模型完成任务。