1.项目概况
通过对球鞋网站的实时数据抓取，数据分析过滤，给广大鞋友提供信息服务
2.我的职责
主要负责数据抓取，数据过滤，数据存库，消息推送，代理池使用与维护的代码实现和后期修改。
其中我使用了chrome浏览器的开发者工具进行网页数据结构分析，使用beautifulsoup进行数据抓取，使用了scrapy_redis分布式部署服务器提高爬取速率，使用了网上的ip代理服务保障访问的稳定性，使用redis实现数据的存储与使用。