新闻网站爬虫是舆情分析中重要的组成部分。公司现有的新闻网站爬虫工具需要大量的人工去配置以及维护模板，面对这种情况需要有一套系统实现新闻网站数据的自动抓取，因此需要开发一套系统来实现新闻数据的大量抓取。
Twitter是一家美国社交网络及微博客服务的公司，致力于服务公众对话，因此Twitter数据对于客户具有很大的价值。Twitter网站是用Ajax异步加载的，用requests请求到json文件的数据url也是拒绝的。经过分析请求头中有必需的参数，加上参数之后可以获取数据。