将单线程爬虫扩展为多线
然后,我推荐你用Scrapy来编写多线程爬虫了。同时你最好深入研究一下这个框架的内部原理,这样有助于你了解设计并发程序的基本原则和方法。
最后,你可以尝试将爬虫部署到集群上, 并用Ansible进行集群管理。
对收集到的数据进行清洗和分析
首先,你需要用pandas对收集到的半结构化数据进行数据清洗。然后用jieba来对中文句子进行分词操作,然后使用 wordcloud 生成词云,对关键词分布情况有一个直观的了解。
接下来就是最关键的数据分析阶段,你需要学习一些NLP(自然语言处理)的基本知识,并使用二部图算法进行情感分析。
最后用smtplib实现邮件发送服务,这样你就可以用邮箱接收分析报告了。