技术能力

掌握requests urlib 等爬虫包;
掌握 Scrapy 爬虫框架(redis多服务器) ;
掌握 Django、Flask等网页后端开发；
掌握 pyspider 爬虫框架 ;
掌握 布置IP代理池;
掌握 MYSQL，MongoDB掌握数据库操作；
熟悉 Django中使用 celery 实现异步/定时任务 Redis管道通信 ;
熟悉 selenium 无界面浏览器 ;
熟悉 urllib + multiprocessing库操作多线程爬虫;
熟悉 JavaScript、对DOM, Ajax、JSON 等 ;
熟悉 HTML5

项目经验

1. 短信群发 (web后端+爬虫)
2. 个人摄影网站搭建 (web后端)
3. 网易新闻网站新闻循环爬取 (爬虫)
4.链家 全国房产价格信息 爬取/分析 (爬虫, 数据分析)
5. 千图，包图，摄图，等15个网站素材实时爬去
6.boos直聘岗位信息抓取 (爬虫)
7.京东商品信息抓取 (爬虫)
8.对接有道在线翻译链接 (爬虫)

团队情况