tom
Python · 6年经验 · 智能科技
0
累计接单
0
用户评价
0
被收藏
技术能力
python爬虫、后端
熟练掌握爬虫requests，scrapy，scrapy-redis爬虫流程，掌握正则表达式，xpath提取网页资源方法，熟练构建分布式爬虫，linux下定时启动爬虫
熟悉各个网站常见反爬策略，根据网页分析出常见反爬手段
熟练掌握爬虫requests，scrapy，scrapy-redis爬虫流程，掌握正则表达式，xpath提取网页资源方法，熟练构建分布式爬虫，linux下定时启动爬虫
熟悉各个网站常见反爬策略，根据网页分析出常见反爬手段
项目经验
熟悉前端代码，可以分析目标网站真实request地址和response内容，使用代理试水确定反爬虫界别，检测是否有投毒数据
针对不同反爬虫级别网站，做出具体scrapy部署，使用工具包括：伪造User-Agent，批量IP代理池，隧道动态ip代理，设置并发数量及下载速度
使用logging模块编写监控程序进行爬虫监控，并根据日期定向输入日志到log文件
针对不同反爬虫级别网站，做出具体scrapy部署，使用工具包括：伪造User-Agent，批量IP代理池，隧道动态ip代理，设置并发数量及下载速度
使用logging模块编写监控程序进行爬虫监控，并根据日期定向输入日志到log文件
案例展示
立即沟通
相似人才推荐：
南京python开发 (南京中易科技) ，1年经验 ，500元/天
西安Python开发工程师 (北京航天紫光科技有限公司) ，3年经验 ，500元/天
上海Python开发工程师 (上海市研发公共服务平台管理中心) ，2年经验 ，500元/天
北京python软件工程师 (中公教育) ，4年经验 ，500元/天
广州python工程师 (广州标际包装设备有限公司) ，3年经验 ，500元/天
西安Python开发工程师 (华为) ，3年经验 ，800元/天
北京python高级工程师 (腾讯) ，2年经验 ，500元/天
其他算法、数据库、后端 (应用技术研究院) ，5年经验 ，500元/天
