技术能力

1）优秀的数据库设计和优化能力，至少精通一种常用的关系型数据库，精通MySQL数据集群应用开发优先；

2）熟练应用CSS/JavaScript/Ajax/进行Web开发，熟悉Python/Ruby者优先；

3）熟练使用Linux，熟悉常用的Shell命令，扎实的计算机基础，较强的软件架构或算法理解能力；

4）拥有优秀的逻辑思维能力、时间和流程意识以及良好的编码习惯及开发文档书写习惯。

项目经验

项目时间：2017-01到2011-10

项目名称：分布式爬虫爬取北京市企业信用信息网

项目描述：
项目介绍
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据
我的职责
首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。
同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中，
最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。
其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网

团队情况