产品上新市场评估至今项目描述:产品需要上新次抛精华,所以需要对数据分析部门提供现市场主流次抛精华销量、评价、品类、价格。因供应商要求所以项目选择某生物作为参照，由于该项目需要长期采集数据，以及数据量较大,爬虫任务较多所以本项目利用了分布式爬虫来提高爬虫的敏捷性以及健壮性,个人职责:主要负责爬虫设计与开发,采用Scrapy框架结合Scrapy-Redis进行动态网页的数据抓取。采用Dandas对指定爬取的的数据进行清洗和格式化,并基于指定pipe存储到MySQL数据库中。由于某东存在IP禁封反爬问题,所以本项目则采用了代理IP池和来解IP禁封问题。为解决分布式任务爬虫数据积压问题所以同时采用redis进行数据缓存,缓存设计主要基于hash结构进行定制化存储，从而保证爬虫任务的稳定性。
某公司主播带货能力评级至今项目描述:新品上市需要提高知名度和增销所以邀请抖音主播带货,由于需要对带货主播做出绩效考核,所以需分析带货主播的控场能力与带货能力,从而需要从直播间弹幕获取观众的实时反映。由于该项目的数据量较大,所以该项目采用了hash结构来进行定制化储存来保证爬中项目的稳定性,个人职责:主要负责爬虫设计与开发,弹幕信息是通过WwebSocket协议进行传输的,所以我们对弹幕的传输部分做了一个拦截使弹幕数据能够被我们的服务器获取到。采用Scrapy框架进行弹幕抓取。由于弹幕通过protobuf协议进行序列化,所以我们还原其proto结构文件。采用numpy对指定爬取的数据进行清洗。由于数据量庞大,所以基于pipe储存到redis中。由于某音会对高频繁请求的用户进行拉黑,为解决该问题我们采用了分布式爬虫。