出版大数据采集
案例介绍
- 项目描述：采集天猫，豆瓣，京东，当当，标准书目网，amazon网站的全量图书信息以及评论信息，并对图书销量以及口碑进行评估并将结果推送给出版商
- 项目实施：
- 通过对天猫，豆瓣，京东，当当，标准书目网，amazon网站的全量图书进行采集并添加到数据库。
- 负责各个站点分为全量采集、新添采集、目录采集、单品信息采集，通过抓包方式获取需要的基本信息，排名，收藏数，更多商家，评论，评价，价格，销量等最终url来获取需要内容；天猫采集列表页和更多商家页的请求通过登录cookie来增加成功率，数据写入数据库，cookie的获取通过torndo异步服务获取，通过这种方式获取站点全量；
- 采集数据量：共5000万左右的图书数据。
- 反爬措施：天猫图书的列表页翻页三页左右会出现滑动验证码，使用chromedriver进行操作实现列表页的翻页；搭建cookie来实现cookie的获取。
出版大数据采集
案例介绍
- 使用技术：使用Requests，多线程，搭建爬虫框架，mysql， selenium, chromedriver
- 项目描述：采集天猫，豆瓣，京东，当当，标准书目网，amazon网站的全量图书信息以及评论信息，并对图书销量以及口碑进行评估并将结果推送给出版商
- 项目实施：
- 通过对天猫，豆瓣，京东，当当，标准书目网，amazon网站的全量图书进行采集并添加到数据库。
- 负责各个站点分为全量采集、新添采集、目录采集、单品信息采集，通过抓包方式获取需要的基本信息，排名，收藏数，更多商家，评论，评价，价格，销量等最终url来获取需要内容；天猫采集列表页和更多商家页的请求通过登录cookie来增加成功率，数据写入数据库，cookie的获取通过torndo异步服务获取，通过这种方式获取站点全量；
- 采集数据量：共5000万左右的图书数据。
- 反爬措施：天猫图书的列表页翻页三页左右会出现滑动验证码，使用chromedriver进行操作实现列表页的翻页；搭建cookie来实现cookie的获取。
案例图片
相似案例推荐
-
移动信息平台
移动办公系统，jsp网站，sdk1.8,整合springmv
-
Face用户画像
BI数据分析可视化系统，可根据用户定制选用多种图表展示用户画
-
实时平安墙
在大屏上用图表动态展示后台数据实时变化，主要负责前端框架选型
-
财服通
项目介绍: 公司的19年主推项目，用于管道水工的日常工作任
-
ROOMS(APP)
该APP主要是用于某电厂的培训与考核管理，我主要负责的功能：
-
运行人员核安全文化素养评价与诊断系统
我在该项目中负责web前端开发，主要的工作是 1、根据u
1小时精推人才
需求方专属客服，免费梳理匹配
