Gao XiaoFan ID:180110 复制

Gao XiaoFan

中级爬虫工程师 · 2年经验 · 北京华品博睿网络技术有限公司
城市北京 朝阳 日薪600元/8h 时间 下班后周六周日可工作日远程
0
累计接单
0
用户评价
1
被收藏

技术能力

AI 技能提取 | Python CSS 分布式 Redis MySQL MongoDB Linux Selenium JavaScript HTML5 CSS3 jQuery Ajax
1、精通python语言,有优良的编程风格和习惯。
2、精通网络爬虫技术,熟练掌握requests、BeautifulSoup、css选择器、xpath选择器、正则表达式。
3、熟练使用Scrapy爬虫框架、了解Scrapy框架运行原理。
4、熟练使用Charles抓包工具,能对APP端进行爬虫
5、熟练掌握常见反爬虫技术, 并能对相应的反爬虫做出解决方案。
6、了解验证码破解技术,能够解决常规的反爬验证码
7、掌握Selenium+phantomJs进行网页数据的采集。
8、熟练掌握MySql、mongodb·、redis数据库操作。
9、熟练运用numpy、pandas、matplotlib进行数据清洗、处理以及分析。
10、熟练使用Scrapy-Redis框架开发分布式爬虫
11、熟练使用linux常用命令以及在Linux系统中部署python环境。
12、了解HTML5、CSS3、JavaScript、jQuery、Ajax、json等前端开发技术。
13、了解Djang框架,可以使用Django进行web运维平台的开发。

项目经验

携程网机票爬虫
(1) 项目描述:机票网站爬虫项目,本项目使用了scrapy以及selenium+phantomjs模拟浏览器行 为进行数据采集,主要获取航班号、起飞时间、到达时间、准点率、价格等数据
(2) 项目难点:网站使用了ajax加载数据,并加入验证Cookie,限制IP访问反爬手段,需要实时更新数据
(3) 难点解决:使用了selenium模拟浏览行为,ajax数据可以直接加载,故不用构造ajax请求。限制cookie可以直在spider中设置cookie,对于限制IP可以通过IP代理池来实现更换IP
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

微信沟通 立即沟通 立即预约
平台担保交易 · 1小时内不满意可退款
微信扫码,建群沟通

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
相似人才推荐: