Terry

爬虫架构系统整体设计：
1.所有爬虫统一使用模板来配置，支持使用XML模板里进行程序开发
2.模板支持外部脚本依赖，目前支持java,js,groovy
3.模板可以继承，定义常量，局部变量,import，重写等常见程序设计模式
4.使用分层架构来使用设计爬虫系统
5.支持不同代理IP切换策略
6.支持防爬虫破解
7.支持分布式集群化部署采集
8.使用jenkis+docker进行自动化部署
涉及应用开发：社保，公积金，银联，运营商，电商，搜狗微信，黑名单等，简单或复杂爬虫都能使用