案例介绍
- 使用技术：使用Requests，多线程，搭建爬虫框架，mysql， selenium, chromedriver
- 项目描述：采集天猫，豆瓣，京东，当当，标准书目网，amazon网站的全量图书信息以及评论信息，并对图书销量以及口碑进行评估并将结果推送给出版商
- 项目实施：
- 通过对天猫，豆瓣，京东，当当，标准书目网，amazon网站的全量图书进行采集并添加到数据库。
- 负责各个站点分为全量采集、新添采集、目录采集、单品信息采集，通过抓包方式获取需要的基本信息，排名，收藏数，更多商家，评论，评价，价格，销量等最终url来获取需要内容；天猫采集列表页和更多商家页的请求通过登录cookie来增加成功率，数据写入数据库，cookie的获取通过torndo异步服务获取，通过这种方式获取站点全量；
- 采集数据量：共5000万左右的图书数据。
- 反爬措施：天猫图书的列表页翻页三页左右会出现滑动验证码，使用chromedriver进行操作实现列表页的翻页；搭建cookie来实现cookie的获取。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
移动信息平台
移动办公系统，jsp网站，sdk1.8,整合springmv
-
Face用户画像
BI数据分析可视化系统，可根据用户定制选用多种图表展示用户画
-
实时平安墙
在大屏上用图表动态展示后台数据实时变化，主要负责前端框架选型
-
财服通
项目介绍: 公司的19年主推项目，用于管道水工的日常工作任
-
ROOMS(APP)
该APP主要是用于某电厂的培训与考核管理，我主要负责的功能：
-
运行人员核安全文化素养评价与诊断系统
我在该项目中负责web前端开发，主要的工作是 1、根据u
-
公司武器库
有各种组件，为组内共同开发，本人负责维护此组件库，运用svg
-
嘟嘟作业
息进行人工审核，对于不符合条件的申请记录进行打回，并提供具
-
BPM日常维护管理平台
本作品主要是针对bpm系统日常运维提供快速分析和解决问题提供
-
Api网关-ResfulWebApi接口
1、根据公司的信息化建设的战略规划，自研开发一套高内聚的中心
-
OA医疗办公系统
该系统为公司内部办公系统。 拥有人员管理、客户管理、财务模
-
某房产数据获取
获取某房产的整站数据，获取其房屋出租、出售价格，地段等信息，
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
