项目 :企业公开信息自动化采集系统
负责:独立开发采集自动化管线
技术:Python、Scrapy、Playwright、MySQL、Redis、定时任务
描述:根据客户业务需求,对公开可访问业务信息进行结构化采集,做数据清洗、去重、校验入库,搭建定时更新与异常告警机制,保证数据稳定同步,减少人工复制录入成本,全程遵循网站协议与合规采集要求。
成果:替代大量人工录入,实现业务数据自动化更新,数据准确率提升,支持后续报表导出。
项目 2:竞品公开数据监控脚本开发
负责:自动化监控脚本开发与数据处理
技术:Requests、Pandas、MongoDB、消息告警
描述:开发自动化监控程序,定期抓取公开展示业务信息,做结构化整理、差异比对,自动输出变更报表,方便业务方进行市场分析,严格控制采集频率,避免对目标服务造成压力。
成果:实现业务动态自动监控,减少人工反复核对,定期输出结构化分析报表。