项目背景:
某互联网金融公司需整合用户征信报告、电商行为日志、设备指纹及社交网络数据,构建实时信贷评分系统,要求响应延迟低于200ms,且具备可解释性。
技术栈:
Python + Flink + Kafka + Redis + XGBoost + SHAP
我的职责与核心贡献:
• 数据管道优化:设计基于Flink的流式ETL架构,解决10万级QPS下多源数据的时间戳对齐与乱序处理问题,通过自定义窗口聚合函数将数据完整性从87%提升至99.2%。
• 特征工程创新:针对稀疏高维特征(设备指纹含300+维度),采用Embedding + 交叉特征组合策略,并利用互信息法筛选Top 50关键特征,使模型AUC从0.76提升至0.83。
• 可解释性落地:集成SHAP框架生成个体化评分解释报告,并开发规则兜底引擎(基于决策树转IF-THEN规则),满足监管对“白盒模型”的要求。
• 性能调优:通过Redis预热热门用户特征、Flink Checkpoint优化及异步IO,将端到端平均延迟从380ms压缩至168ms,P99控制在450ms以内。
项目成果:
上线后坏账率较原有规则引擎降低22%,授信审批效率提升3倍,获得公司年度技术创新二等奖。
项目二:基于深度学习的工业缺陷检测系统
项目背景:
为某液晶面板制造商定制自动化光学检测(AOI)系统,需在高速产线(每分钟检测120片)上识别微米级划痕、气泡、异物等8类缺陷,且误检率需低于1.5%。
技术栈:
PyTorch + YOLOv8 + OpenCV + ONNX + TensorRT + RabbitMQ
我的职责与核心贡献:
• 数据增强策略:针对缺陷样本稀缺问题,设计混合增强流水线(CutMix + Mosaic + 随机亮度/对比度扰动),并引入生成式数据扩增(StyleGAN2-Ada),将有效训练样本从2千张扩充至4.5万张。
• 模型轻量化部署:以YOLOv8为基座,替换Backbone为MobileNetV4,并采用知识蒸馏(教师模型为Swin-Transformer)进行微调,在保持mAP@0.5=94.3%的同时,将模型参数量压缩至原版的32%。
• 推理加速工程:将模型导出为ONNX格式并量化至INT8精度,利用TensorRT优化算子融合,在NVIDIA Jetson AGX Xavier上实现每帧推理耗时仅9.7ms,满足产线实时要求。
• 异常告警闭环:设计基于RabbitMQ的异步消息队列,当连续检出5片缺陷时自动触发产线停机提醒,并生成缺陷热力图定位具体坐标,辅助维修人员快速复判。
项目成果:
系统上线后缺陷检出率达96.8%,误检率1.2%,每年为客户节省约800万元人工复判成本,并已申请2项实用新型专利。
项目三:高并发微服务治理与可观测性平台