模型微调:掌握大模型微调技术,熟悉 PEFT 工具,具备 LoRA、Prefix Tuning 等高效微调经验。
分布式训练:熟悉 Accelerate 分布式训练框架,能够简化多 GPU 和多机训练配置,提升大模型训练效
率。
接口开发:熟悉 FastAPI,能够基于 RESTful API 设计大模型(如 GPT、BERT)接口设计与开发,实现大模
型调用与推理服务。
Web 开发:了解 Flask 和 Django 后端框架;
容器部署:具备一定 Docker 的微服务容器化部署经验;
数据库:熟悉 MySQL 数据库的设计和优化,了解 Redis 缓存数据库的基本使用。
编程语言:熟练掌握 Python,具备良好的代码编写规范和设计能力,
爬虫框架:熟悉scrapy、playwright 等框架和异步工具使用,具备将大语言模型(LLM)与爬虫相结合的
能力,能够快速将爬取的数据处理为结构化数据
自然语言处理:熟悉 Transformers,具备文本处理、情感分析、命名实体识别经验,能够训练和优化对话
模型,提高对话自然性与准确性。
RAG 开发:熟悉 RAG 流程,具备基于向量数据库(FAISS)与 BM25 检索结果重排序(rerank),提高模型的准确性与响应速度。
Agents 开发:熟悉 Langchain 框架,熟悉 workflow 的开发与智能代理(Agent)。
计算机视觉:了解 YOLO,OpenCV 等框架,具备一定的图像处理、特征提取、目标检测能力。
模型部署:熟悉 Dify、Ollama 等框架,具备大模型推理与部署经验。
1.客服知识库系统开发
项目描述:
基于RAG技术,通过 BM25关键词索引和 FAISS 向量检索实现精准知识召回,并结合微调后的大语言模型提供高质量答案,提高客服技术水平与响应速度,提升用户满意度。
技术栈:
LlamafactoryLangchain,transformers,FastAPI,FAISS,Peft,Accelerate,pytorch,ollama,finebi,BM25
主要职责:
数据收集与整合:采集多源数据,包括 Wiki、飞书云文档、历史客服聊天记录、FAQ 文档和设备维修手册等,并进行标准化处理。
文本预处理与清洗:采用正则表达式、NLTK、jieba等库进行分词、去停用词、文本去重、特殊符号清理等,提升文本质量,转换为训练数据。
RAG 架构实现:通过结合 BM25 关键词索引和 FAISS 向量索引,实现混合倒序召回重排策略,提高 检索内容的相关性与多样性。
微调与优化:针对 3D 打印行业特定问题和术语,通过行业数据的标注与训练,微调大语言模型,提高其对行业术语、故障类型的理解和处理能力。
部署与集成:将模型部署在 Ollama 平台提供推理效率,并使用 FastAPI 开发接口,提供智能客服服务,并与其他系统集成。
项目成果:
平台的智能知识库推荐和检索功能,使客服平均响应时间缩短 20%,有效减少了用户等待时间,提高了用户的满意度。
通过知识库自动更新和模型优化,客服培训周期缩短,团队整体作业能力提升。
基于多智能体优化工单系统,实现自动化文本分类、关键词提取、优先级排序、错误自动修正及图像分类。系统引入动态决策链,结合 LLM 进行智能决策,实现工单自动化处理与智能化优化。
**电商数据分析与可视化系统** - **项目描述**:开发一套电商数据分析与可视化系统,涵盖商品统计、交易数据分析、用户行为监控等模块,实现数据可视化展示,提升运营决策效率。 - **技术栈**:Vue.js、ECharts、Python、Django、MySQL、