Tom孙

项目名称：全网电商数据实时采集与分析系统项目描述： 针对主流电商平台（淘宝、京东、拼多多）进行商品信息、价格、评论的实时采集，服务于公司定价策略和竞品分析。个人职责：独立设计分布式爬虫架构，使用Scrapy-Redis在Docker容器中部署，实现了爬虫节点的动态扩容。针对平台的高级反爬机制（JS加密、图形验证码），通过Selenium+Chrome Headless技术模拟人工操作，并接入自动打码平台解决验证码问题。构建高质量代理IP池，对被封IP进行自动切换和降权处理，将采集效率提升了\(300\%\)以上。利用MongoDB存储海量数据，使用Redis进行数据增量去重，确保数据采集的实效性与一致性。