技术:1.熟练掌握requests等请求库; 2. 熟练掌握xpath、正则表达式等定位语句 3. 熟练掌握python异步、asyncio、aiohttp、aiomysql等异步库 4. 熟练掌握scrapy、scrapy-redis等爬虫框架 5. 熟练掌握mysql、mo
项目:腾讯招聘、阿里招聘 项目描述:爬取腾讯招聘和阿里招聘的岗位名称、信息 责任描述:编写爬虫程序,想出反反爬策路,数掘清洗,分表存储,维护代理ip池 项目简介: 1. 爬取量较大,用scrapy-redis爬取,因为该框架实现url和数据去重、持久化、分布式比较方便 2.
案例: 获取腾讯招聘岗位信息