该项目旨在解决企业内部文档繁杂、检索效率低下的痛点。我主导了后端核心架构设计与开发,技术栈采用 Python + FastAPI + LangChain。通过集成 Milvus 向量数据库与 BM25 实现混合检索,并引入重排模型(Rerank)优化召回质量,有效解决了大模型幻觉
针对开源大模型在业务落地中推理成本高、并发性能差的问题,我负责了模型服务化与后端API的开发。基于 Python + vLLM + TensorRT-LLM 搭建推理引擎,结合 FastAPI 提供高并发异步接口,利用 Kafka 进行请求削峰填谷。设计并实现了动态批处理(Con
鼠标悬停或点击上方资质图片,可放大右下角二维码进行扫码验真。
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人