一、企业级敏捷数据分析平台(Superset)现代化架构升级与性能优化
项目描述:
针对企业核心商业智能(BI)环境进行全方位的架构升级,解决旧版本在处理大规模多维数据报表时的性能瓶颈与潜在安全隐患。
核心职责与贡献:
1. 环境迁移与升级:主导了多套生产与测试环境中 Apache Superset 从 5.0.0 版本向 6.0.0 版本的平滑升级,全程采用 Docker 和 Docker Compose 进行容器化编排。
2. 缓存与性能调优:针对系统大数据量查询缓慢的问题,设计并引入了 Redis 缓存层,重新优化了底层核心数据表的索引结构与查询逻辑,极大缓解了服务器内存限制带来的压力。
3. 容灾与回归测试:制定了详尽的迁移数据备份与回归验证方案,通过自动化脚本模拟高并发访问,确保了升级过程中的数据零丢失与业务零中断。
项目成果:
成功完成整套 BI 环境的无缝切换,升级后复杂报表的整体加载速度提升了 40% 以上,显著增强了系统在高并发场景下的服务稳定性。
二、基于大模型的智能化企业级数据抽取与流程自动化系统
项目描述:
该项目旨在解决传统人工处理大量复杂财务发票及候选人简历时效率低、易出错的痛点,通过引入先进的 AI 技术栈实现全自动化流水线。
核心职责与贡献:
1. 架构搭建:作为核心开发人员,使用 Node.js 与 Python 构建了高可用的后端系统,利用 Systemd 与 Webhook 机制保障分布式架构的高稳定运行。
2. AI落地集成:深入集成 Gemini 及 OpenAI API,设计了精密的 Prompt 策略,结合高复杂度的正则表达式,成功实现了对电子发票及多格式简历数据的无损、高精度结构化提取。
3. 自动化流设计:在 n8n 与 Dify 平台中精心编排多节点工作流,建立智能体(Agent)协同框架,实现从多渠道数据源抓取、语义识别匹配(简历与职位描述匹配度达 85% 以上)到自动通知的闭环。
项目成果:
系统上线后彻底消除了人工录入的瓶颈,数据处理时效提升 70% 以上,数据库(PostgreSQL JSONB)查询性能优化近 40%,实现了“一人公司”级别的高效运营。