优质采
个人
ID:257916
Pytnon爬虫工程师
2年
500元/8小时
技术:主要学习python,并且精通python爬虫,对requests库,json和xpath熟悉掌握。对常见的反爬js能够处理,动态cookie问题能够解决,seleium处理验证码问题精通。对scrapy框架和scrapy-redis有着熟练的掌握。对于数据库mysql,redi
项目:广东省公共资源信息抓取。主要爬取广东省公共资源的招投标公告,写一个爬虫程序每天进行自动抓取存入数据库中。这个网站比较特殊,每次进入都会有验证码,我采用的方式是seleium对接打码平台处理验证码问题,获取cookie 然后再利用request进行信息抓取