ID：134230
李明
爬虫工程师
- 公司信息：
- 北京锐安科技有限公司
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 北京
- 全区
技术能力
1. 熟练使用Python urllib2、Requests等网络模块。
2. 熟练使用Selenium+PhantomJS实现动态HTML抓取。
3. 熟练掌握Scrapy框架、scrapy-redis分布式组。
4. 了解Django/Flask框架。
5. 熟悉Redis缓存技术。
6. 了解MySQL，MongoDB数据库。
7. 熟悉CSS,JS,HTML，能够完成简单的页面开发。
8. 了解JavaScript、Ajax、JQuery等WEB前端技术。
项目经验
项目名称：态势感知大数据平台系统
开发环境：Pycharm + Scrapy框架 + Scrapy-redis分布式组件 + Mongodb + Redis
项目工作：爬取贴吧、微博热门，明星，大V的微博，分析内容和客户公司相关信息，进行反馈， 实时抓取微博与客户有关的负面微博，及时汇报给客户
项目职责：负责爬虫的开发和维护
主要技术：
1、采用scrapy框架开发 scrapy-redis分布式实现
2、请求中加入cookie，获取登陆权限
3、对于图片登陆验证，使用Tesseract等第三方模块识别
5、分布式使用Redis做为缓存数据库，利用Redis的高并发和I/O读写来实现下载，将数据同步到Mongodb数据库里，并建立索引方便查询和管理
6、为了保证数据抓取的准确， 购买了IP代理池，每10次发送请求，更换一次代理ip
相似人才推荐
-
500元/天开发工程师深圳某公司概要：熟练使用的开发工具：eclipse、idea 熟练掌握的编程语言：html、JavaScript、
-
500元/天高级开发工程师北京文思海辉金信软件有限公司概要：精通SQL语句及存储过程编写 熟悉Hadoop/Hive/Spark/Storm/HDFS/H
-
500元/天后端工程师云南旭博集团概要：我是一名科班出生的程序员，学习中掌握了基本的web开发技术（html，css，js），数据设计（sq
-
1000元/天高级程序员深圳市农产品品股份有限公司概要：Java：eclipse、git（git-flow）/ svn、maven / gradle、spr
-
700元/天高级软件工程师高新兴科技集团股份有限公司概要：1,精通C#语言,熟悉Java/Python/TCL/C等语言，能快速理解业务需求，并实现； 2, -
600元/天高级开发工程师思特沃克（成都）技术有限公司概要：1、本人有4年Java和前端开发经验，1年iOS工作经验，熟悉项目开发流程 2、熟悉各种面向对象
-
1000元/天高级搜索工程师优酷概要：10年搜索引擎开发经验,熟悉搜索引擎的基本原理和分布式搜索引擎的基本结构.熟练掌握SolrCloud
-
600元/天软件工程师Honeywell概要：1、我熟悉的编程语言有java，python，sql。我熟练掌握java web开发，python脚
