案例展示

• 

  b站评论爬取

  公司某app下的评论质量不太好，需要爬取b站高质量的评论，经过数据清洗后提供给算法侧的模型，进行训练优化。 我主要担任数据评论的爬取，整个爬取是我独立负责。

• 

  分布式爬虫系统的搭建

  公司智能聊天机器人需要实时的语料更新，分布式爬虫系统爬取百度贴吧、豆瓣、水木社区等数据源，将获得的数据进行清洗入库 我负责整个爬虫系统的搭建、数据的稳定爬取、数据清洗入库。整个项目是我独立负责。