开发过的项目:
1,平安证券一柜通系统项目
2,平安云系统项目
3,中国移动物联网商城项目
4,微信公众号爬虫
5,新浪微博爬虫。动态IP解决新浪的反爬虫机制,快速抓取内容。
6,百度mp3全站爬虫,使用redis支持断点续传。
7,淘宝的爬虫,可以根据搜索关键词,物品id来抓去页面的信息,数据存储在mongodb。
8,股票(沪深)爬虫和选股策略测试框架。根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。
9,去哪儿网爬虫。 网络爬虫之Selenium使用代理登陆:爬取去哪儿网,使用selenium模拟浏览器登陆,获取翻页操作。代理可以存入一个文件,程序读取并使用。支持多进程抓取。