负责构建数据采集系统,使用 Scrapy 框架、Request 库与 Playwright,对多个电商平台进行数据抓取。通过优化数据抓取策略,解决了反爬虫机制限制,将数据采集效率提升 40%。实现对商品详情、价格、评论等关键数据的精准采集,日均采集数据量超 10 万条。...
负责构建数据采集系统,使用 Scrapy 框架、Request 库与 Playwright,对多个电商平台进行数据抓取。通过优化数据抓取策略,解决了反爬虫机制限制,将数据采集效率提升 40%。实现对商品详情、价格、评论等关键数据的精准采集,日均采集数据量超 10 万条。...
基于互联网技术和供应链生态,凭借专业技能为环保和能源行业提供工业品采购和管理服务,帮助企业实现供应链采购透明、生产提效和运维降本,实现可持续发展。本人在该项目担任技术副总监,主导从需求分析阶段到开发完成上线运营全流程,主要负责系统架构的搭建,从代码框架到服务部署架构,核心功能的研发和设计,研发团队的制度建立,基于敏捷开发流管理,代码规范管理、绩效制度的建立和考核。也是从 0 到 1 搭建的平台。主要是基于 SpringCloud 微服务构架搭建。...