多模态文档解析与清洗(ETL):
基于LibreOffice及正则表达式构建通用解析引擎,支持PDF、Office全家桶等10+种格式的文档解析。
设计文本清洗流水线,有效去除文档中的页眉页脚、乱码及特殊符号,将非结构化文本转化为高质量的Markdown/JSON格式,显著提升了下游向量数据库的索引质量。
高并发异步架构设计:
采用FastAPI + asyncio构建全异步微服务,相比传统同步框架(如Flask/Django),在文档解析IO密集型场景下,吞吐量(QPS)提升约40%。
引入psutil实现细粒度的系统资源监控,针对大文件(>100MB)解析场景设计内存保护机制,有效防止因内存溢出(OOM)导致的服务崩溃,服务稳定性达到99.9%。