amazon分布式采集平台

人工智能 机器人 案例ID:138721
abingtech
12 年经验· 保密
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

该项目电子商务公司开发,目的是采集amazon的跟卖链接,通过客户给定的种子链接,采用广度优先的算法进行分布式采集,采用redis+mysql+springboot技术,对爬虫进行分布式部署,突破防爬机制是采用采用忆牛云代理,形成自己的稳定代理IP池。

amazon分布式采集平台

人工智能 · 机器人 案例ID:138721
联系该工程师
微信扫码,建群沟通
作者: abingtech - 12年经验- 保密

案例介绍

该项目电子商务公司开发,目的是采集amazon的跟卖链接,通过客户给定的种子链接,采用广度优先的算法进行分布式采集,采用redis+mysql+springboot技术,对爬虫进行分布式部署,突破防爬机制是采用采用忆牛云代理,形成自己的稳定代理IP池。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×