ID：180110
Gao XiaoFan
中级爬虫工程师
- 公司信息：
- 北京华品博睿网络技术有限公司
- 工作经验：
- 2年
- 兼职日薪：
- 600元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 北京
- 朝阳
技术能力
1、精通python语言,有优良的编程风格和习惯。
2、精通网络爬虫技术,熟练掌握requests、BeautifulSoup、css选择器、xpath选择器、正则表达式。
3、熟练使用Scrapy爬虫框架、了解Scrapy框架运行原理。
4、熟练使用Charles抓包工具，能对APP端进行爬虫
5、熟练掌握常见反爬虫技术, 并能对相应的反爬虫做出解决方案。
6、了解验证码破解技术，能够解决常规的反爬验证码
7、掌握Selenium+phantomJs进行网页数据的采集。
8、熟练掌握MySql、mongodb·、redis数据库操作。
9、熟练运用numpy、pandas、matplotlib进行数据清洗、处理以及分析。
10、熟练使用Scrapy-Redis框架开发分布式爬虫
11、熟练使用linux常用命令以及在Linux系统中部署python环境。
12、了解HTML5、CSS3、JavaScript、jQuery、Ajax、json等前端开发技术。
13、了解Djang框架，可以使用Django进行web运维平台的开发。
项目经验
携程网机票爬虫
(1) 项目描述:机票网站爬虫项目,本项目使用了scrapy以及selenium+phantomjs模拟浏览器行 为进行数据采集，主要获取航班号、起飞时间、到达时间、准点率、价格等数据
(2) 项目难点:网站使用了ajax加载数据，并加入验证Cookie，限制IP访问反爬手段，需要实时更新数据
(3) 难点解决:使用了selenium模拟浏览行为，ajax数据可以直接加载，故不用构造ajax请求。限制cookie可以直在spider中设置cookie，对于限制IP可以通过IP代理池来实现更换IP
相似人才推荐
-
500元/天先后岗位有移动开发总监，高级软件工程师，软件工程师先后就职于美国山姆研发中心，沃尔玛中国研发中心，阿尔卡特朗讯概要：本人先后在阿尔卡特朗讯，沃尔玛中国科技部，美国山姆研发中心任职，对于电商系统以及业务非常了解，对移动
-
600元/天市场主管延续未来成都科技有限公司概要：熟练微信小程序开发 熟悉掌握JavaScript，Ajax，jQuery，JSON等前台技术并能
-
500元/天研究生天津大学概要：MATLAB优化算法（微分方程求解局部最优，全局最优，偏微分方程求解局部最优，全局最优），启发算法（
-
800元/天技术部经理芯联达概要：HTML 良好 使用时长: 6年 jS 一般 使用时长: 4年 php 熟练 使用时长: 5年1
-
800元/天资深开发阿里概要：熟悉常用设计模式；有高并发、大数据处理经验； 熟悉推荐系统架构，有四年推荐系统架构经验；熟练掌握J
-
500元/天数据与增值业务部主管中国联通概要：擅长通过爬虫采集数据，具体为： 1、熟练使用BeautifulSoup和json解析数据； 2、
-
500元/天大数据开发工程师平安科技概要：大数据平台开发，对flink组件进行二次开发、使用flink进行实时计算的项目开发 机器学习算法实
-
600元/天技术总监长沙市正桑网络科技有限公司概要：PHP、Java、C#、.NET、Android、IOS、HTML5、CSS、JavaScript、
