技术:1. 熟悉python语言,熟悉在Linux下开发 2. 熟悉分布式爬虫搭建 3. 熟悉pyspider、scrapy开发框架,scrapyd、scrapydweb、scrapy-redis 4. 熟悉HTML、CSS、JavaScript、Node.js、AJAX交互技术
项目:项目名称:某裁判文书检索网站 项目部署:Linux+Mongo+Python+Scrapy+JavaScript 项目简述: 1. 网站需要模拟登陆后带cookie进行访问,会对请求频繁的IP进行封禁 2. 登录的帐号密码参数有JavaScript加密,对网页
案例: 抖音爬虫