项目描述:通过scrapy-redis搭建分布式爬虫,爬取列表页每一项下的子页获取数据。
职责首先爬取首页后通过xpath匹配构建请求,并通过scrapy.Request发送请求,用xpath匹配需要的信息。同时循环创建下一页请求的form表单,通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中,最后通过将数据存入redis数据库中。自己还爬取过其他网站:知乎网、淘宝、豆瓣、360、领英网、印度最大的电商网站爬取等等。
使用python开发过很多的接口,例如车辆识别、选举网站认证、驾照识别、pan认证、中国电信网、印度TDS网站等等,升级公司的验证码识别率从30%到98%,取得良好的服务请求效果,精通人工智能的基本算法,有人脸识别的开发经历