分布式数据采集与处理平台，支持多数据源并行采集、智能调度和自动化清洗。

核心功能：

多源采集：支持网页、API、数据库等多种数据源，可配置采集频率和策略
分布式架构：12节点集群部署，支持水平扩展，单日采集量超百万条
智能调度：任务优先级管理、失败自动重试、负载均衡分配
数据清洗：内置规则引擎，支持去重、格式化、字段映射，清洗率99%+
反爬对抗：IP池轮换、请求频率控制、User-Agent随机化、Cookie管理
实时监控：任务进度可视化、实时日志、异常告警通知
技术栈：Python / Scrapy / Celery / Redis / MySQL / Docker