京东等电商爬虫

医疗健康 专业细分服务 案例ID:227852
chuan
3 年经验· 中文集团(北京)
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

案例内容包含京东、阿里、药师帮等网站内容关于药品部分的数据爬虫;
案例以多线程实现数据采集,mongo数据库去重,最终数据进入hbase库中
其中药师帮等网站实现js逆向获取密码加密方式,另外配置有单独的代理函数、日志文件处理、去重等

京东等电商爬虫

医疗健康 · 专业细分服务 案例ID:227852
联系该工程师
微信扫码,建群沟通
作者: chuan - 3年经验- 中文集团(北京)

案例介绍

案例内容包含京东、阿里、药师帮等网站内容关于药品部分的数据爬虫;
案例以多线程实现数据采集,mongo数据库去重,最终数据进入hbase库中
其中药师帮等网站实现js逆向获取密码加密方式,另外配置有单独的代理函数、日志文件处理、去重等

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×