1. 企业级 RAG 知识库:核心难点是长文档与低质量扫描件导致召回不准、答案不可信。方案上做了版面解析还原表格结构、语义切分、BM25+向量混合检索接 rerank,并引入查询改写做多路召回,答案支持引用溯源。召回率与准确率达到可上线标准,幻觉反馈基本归零,稳定支撑日均数万次查询。
2. 生产级 Agent 系统:难点是工具调用不稳定、长任务下上下文膨胀导致成本与失败率同步上升。设计了任务分解 + 状态机管理、工具调用失败重试与降级、上下文压缩与摘要策略,任务完成率显著提升,单任务 token 成本明显下降。
3. 领域模型微调:难点是标注数据少、全量微调成本高且易发生灾难性遗忘。通过构造高质量指令数据并控制数据配比,用 LoRA 微调,经多轮消融确定 rank 与目标模块,效果接近全量微调,训练成本降至数分之一。