Schneider2019/03 - 至今 System Architect / ... 职责：设计系统架构，数据库模型，接口评估供应商方案确保系统上线正常运行培训研究业务相关的技术（商机挖掘，AI) 优化施耐德所有项目的架构业绩: 即将上线的商机挖掘系统找到多个外部项目，服务于业务销售。...

bued-admin

企业服务-数据服务空气失重

这是bued项目的管理员端，用户端的用户进行登录、抽奖、输入验证码等相关数据会即时记录到管理员端，而抽奖的验证码相关数据会在每日凌晨自动清理（需求方要求），这个管理员端同样是我全权开发，并合并到同一个项目文件内，最后作为一个完整的项目进行部署上线，需求方验收...

本作品是一套基于 Python 的豆瓣公开数据自动化采集与分析系统，核心功能覆盖豆瓣电影、图书、短评 / 长评的全量公开数据爬取、清洗与结构化处理。技术上，我负责整体架构设计与核心模块开发：使用 Requests+XPath 实现静态页面数据的高效解析，针对动态渲染的评论页，采用无头浏览器模拟用户行为完成渲染爬取；同时搭建了代理 IP 池与请求头池，通过请求频率控制、随机延迟等策略，有效规避了平台的反爬限制，爬取成功率稳定在 98% 以上。数据处理环节，实现了自动去重、格式校验、缺失值补全等清洗逻辑，将采集的万级数据批量写入数据库，并导出为结构化文件，为后续的用户评论情感分析、评分分布...

本项目为企业仓储业务自动化处理系统，主要解决老旧仓储系统无法批量导入数据、人工录入效率低及数据格式混乱等问题。项目基于 Python + Selenium 开发，实现 Excel 数据自动清洗、订单自动录入、批量数据处理、系统数据回填及邮件自动发送等功能。系统可自动识别不同格式 Excel 数据，通过规则匹配与数据标准化处理，实现多来源数据统一整理。随后自动完成仓储系统订单录入、数据关联及结果导出，大幅降低人工操作成本。本人独立负责项目需求分析、自动化流程设计、Python 脚本开发、异常处理及项目部署交付工作。项目上线后，客户原本需要数小时完成的数据处理流程缩...

测试数据清洗工具

企业服务-数据服务 K

该案例面向科研和工程测试数据处理场景，主要解决多批次测试数据字段不统一、人工整理图表耗时、异常记录难以快速定位的问题。工具流程包括读取 Excel/CSV 原始数据，统一字段名称，按样品编号和测试条件分组，计算退化比例或关键统计指标，标记缺失值和异常点，并输出清洗后的数据表、汇总表和可用于汇报的图表。项目中负责数据结构梳理、清洗规则设计、统计逻辑实现和交付说明整理。类似方案可用于可靠性测试、实验数据汇总、质量分析、月度报表自动化和批量图表生成。...

多源时空分析

企业服务-数据服务越狱兔

项目简介：多源时空分析是西安市局建设的综合性数据分析平台，涵盖数据采集、治理、分析与应用等全流程环节。多源时空分析以用户使用 wifi 产生的信令数据为核心支撑，实时接入和处理海量数据，实现数据的高效治理与深度挖掘。在此基础上，平台对重点目标进行精准识别与动态管控，为业务决策和风险预警提供有力的数据支撑。责任描述：主导大数据计算与调度平台升级，完成 Spark 3.1 版本适配与稳定性优化。负责 Doris 集群容量规划与数据模型设计，支撑超大规模数据高效存储与查询。构建基于 WiFi 实时数据的流式计算体系，实现重点区域目标监控与行为分析。 ...

欧冶企业信息查询

企业服务-数据服务拾贝

本项目旨在对欧冶平台的资源列表页进行自动化采集，获取首页产品的标题、价格、地址等核心信息，覆盖前10页数据。该平台为大宗商品交易服务平台，具有一定的基础反爬机制。本项目的核心任务是构建高效稳定的采集脚本，处理分页逻辑与可能的请求限制，提取结构化字段...

赢商大数据品牌采集

企业服务-数据服务拾贝

本项目旨在对赢商大数据平台的品牌列表页进行大规模自动化采集，获取品牌招商相关的核心信息。该平台为商业地产数据服务商，对反爬有一定防护机制，包括请求频率限制、IP风控等。本项目的核心任务是基于Scrapy框架构建高并发采集爬虫，通过IP代理池与请求重试机制突破反爬限制，至少覆盖5个品牌分类，采集总量超过2000条，提取品牌标题、创建时间、开店方式、合作期限、面积要求等关键字段，最终并存入MongoDB数据库...