面向芯片研发测试数据分析场景,主导开发 ProdLot Studio 研发数据分析平台,用于 PCM、Pilot、FT 等测试数据的导入、清洗、参数筛选、统计分析、可视化展示与结果导出。平台替代原有人工使用多个软件进行数据整理和对比分析的方式,提升研发测试数据分析效率与结果一致性。
职责与成果:项目负责人
1. 负责平台从需求调研、数据规则设计、系统架构设计到开发部署的全流程落地,基于 Streamlit、Pandas、NumPy、Plotly、PostgreSQL、Docker 等技术栈完成平台建设。
2. 设计并实现多类型 Excel 文件解析能力,支持 xls、xlsx 等格式,覆盖 PCM、Pilot、FT 等数据类型,兼容不同产品、不同参数列、不同 Sheet 结构的数据导入场景。
3. 设计 PostgreSQL 多表数据结构,用于管理数据集、参数定义、参数统计、原始数据序列、导入记录等信息,支持按产品、批次、片号、类型、阶段、参数等维度快速筛选与对比。
4. 实现箱线图、中位数趋势图、参数筛选、异常值展示、LCL/UCL 控制线、结果导出、仅导出勾选数据等功能,满足研发人员日常数据分析和报告整理需求。
5. 针对单文件千行级、参数列 20+ 且不同产品文件数量较多的场景,优化数据导入、统计计算与绘图性能,并通过多线程加载、预计算统计结果等方式提升系统响应速度。
6. 基于 Ubuntu 与 Docker 完成系统封装部署,并编写部署、升级、备份、恢复和版本管理脚本,提升内网环境交付效率和系统可维护性。
7. 平台累计导入 400+ 文件,单产品可支持 80+ 文件对比分析,服务 10 位以上研发人员;原来手工分析多个文件约需 30 分钟,现在从导入到分析约 2 分钟完成,大幅提升研发数据处理效率。