爱吃猫的鱼的案例列表
企业级RAG智能问答系统后端
该项目旨在解决企业内部文档繁杂、检索效率低下的痛点。我主导了后端核心架构设计与开发，技术栈采用 Python + FastAPI + LangChain。通过集成 Milvus 向量数据库与 BM25 实现混合检索，并引入重排模型（Rerank）优化召回质量，有效解决了大模型幻觉与上下文超长的问题。系统支持流式输出（SSE），并利用 Redis 实现多轮会话状态管理。上线后支撑日均5万+次并发查询，接口平均响应延迟控制在800ms以内，问答准确率提升至92%，为业务部门节省了约40%的客服人力成本。
高并发大模型推理与部署平台
针对开源大模型在业务落地中推理成本高、并发性能差的问题，我负责了模型服务化与后端API的开发。基于 Python + vLLM + TensorRT-LLM 搭建推理引擎，结合 FastAPI 提供高并发异步接口，利用 Kafka 进行请求削峰填谷。设计并实现了动态批处理（Continuous Batching）与显存优化策略，解决了单卡多模型部署时的内存溢出（OOM）问题。最终实现单张A100显卡支持百路并发，整体推理吞吐量提升了3倍，单次调用成本降低了35%。同时基于 Docker + K8s 完成了容器化与自动扩缩容部署。（附图包含：推理平台架构图、GPU显存/利用率监控大盘、K8s部署
案例判断参考
爱吃猫的鱼的案例列表
企业级RAG智能问答系统后端
该项目旨在解决企业内部文档繁杂、检索效率低下的痛点。我主导了后端核心架构设计与开发，技术栈采用 Python + FastAPI + LangChain。通过集成 Milvus 向量数据库与 BM25 实现混合检索，并引入重排模型（Rerank）优化召回质量，有效解决了大模型幻觉与上下文超长的问题。系统支持流式输出（SSE），并利用 Redis 实现多轮会话状态管理。上线后支撑日均5万+次并发查询，接口平均响应延迟控制在800ms以内，问答准确率提升至92%，为业务部门节省了约40%的客服人力成本。...
高并发大模型推理与部署平台
针对开源大模型在业务落地中推理成本高、并发性能差的问题，我负责了模型服务化与后端API的开发。基于 Python + vLLM + TensorRT-LLM 搭建推理引擎，结合 FastAPI 提供高并发异步接口，利用 Kafka 进行请求削峰填谷。设计并实现了动态批处理（Continuous Batching）与显存优化策略，解决了单卡多模型部署时的内存溢出（OOM）问题。最终实现单张A100显卡支持百路并发，整体推理吞吐量提升了3倍，单次调用成本降低了35%。同时基于 Docker + K8s 完成了容器化与自动扩缩容部署。（附图包含：推理平台架构图、GPU显存/利用率监控大盘、K8s部署...
