一、某海外电商爬虫系统
依托项目需求与背景，搭建适用海外环境的爬虫平台，依据业务方需求，可实时或离线爬取对手数据，通过清洗、转换，聚合等流程，推送数据到业务方。
1、平台完全实现可视化与脚本化配置爬取任务，在快速构建与灵活性完美切换，各种粒度实现业务爬取需求。
2、平台各模块完全解耦，各个子系统无依赖可独立部署，高可移植性。
3、完整的任务监控平台，可实时监控爬虫爬取的进度与效果。
4、强大的爬取能力，依据终端爬虫爬取能力成线性正常，目前日爬取量在近千万级。

爬虫架构基于： SpringMVC，mybatis，shiro（安全框架），redis，rabbitmq，hassian， quartz，kafka，hbase等技术框架搭建。详细架构搭建可详聊。