分布式爬虫系统架构设计及开发，本着高可靠性、高并发、高性能、可扩展性强的原则设计系统：
1. 根据公司业务系统的要求，借鉴开源爬虫的特点，将整个爬虫系统划分：seed准备 -> 爬取 -> 解析去重 –> 转码；
2. seed准备模块采用分布式内存队列系统beanstalk，另外我们采取了定时增加seed版本的方式全量更新队列，以解决网络、爬虫系统等导致seed缺失问题；
3. 爬取模块采用agent、proxy等组合模式对seed进行爬取，爬取的网页内容通过kafka传给解析去重模块；
4. 解析网页提取URL(可根据正则、css selector提取指定位置的URL)，跟已经发现的新闻URL去重，为了提升性能采取了ehcache、redis、mongo多级去重，新增新闻URL通过Kafka传给转码系统；
5. 转码模块通过解析网页内容提取出标题、内容、作者、发布时间、语言等内容，针对一些特殊网站，可以采用自定义模板方式解析；
6. 为了更好的对每一个环节的数据采用grafana+influxdb方式监控报警，采用es做为数据统计分析及查找问题。
7. 目前我们30W seed，每5分钟爬取一轮，主要服务器有beanstalk 服务器2台、爬虫服务器60台（低配）、解析去重服务器（6台）、转码服务器12 台。