电商平台数据分析
项目描述：爬取电商类网站的数据信息，保存入库对爬取到的商品信息进行分析提取，寻找其中的规律，挖掘有用的数据信息。
责任描述：
1.运用scrapy框架结构，爬取网页信息，技术涉及cookie登录验证、多线程、代理池；
2.使用Selenium对部分动态网站的信息进行采集；
3.爬取信息存入mongodb数据库；
4.根据分析结果，对潜在商家客户进行挖掘，制定更加科学的新产品研发计划。
国内酒店信息爬取
项目描述：完成对国内旅游网站酒店价格、热度、口碑等信息抓取的业务实现。
责任描述：
1.确定爬取目标和所需信息，主要业务是对携程、去哪儿、途牛等国内旅游网站的酒店综合信息的抓取。分析各个网站的链接特征，对网页端、网页手机端、app端进行分析，分析其不同的反爬措施；
2.确定整体的爬取方案，利用伪装cookie、代理IP、降低请求频率、等技术伪装浏览器，利用scrapy爬虫框架实现全部信息的抓取业务，实现分布式的可持久化的爬取。