七七的案例列表
分布式多平台电商数据采集系统
项目背景：客户需要持续跟踪多个电商平台的商品价格、库存与销量变化，原本靠人工每天复制粘贴，效率低且容易漏数据，需要一套能自动跑、自动入库、自动告警的采集系统。 核心功能： 1. 多平台采集：分别适配不同网站的商品列表页与详情页，支持分页、搜索页、榜单页，字段覆盖标题、价格、原价、库存、销量、店铺、SKU、评论数。 2. 分布式调度：Scrapy + Redis 分布式，多节点并行，日采集量可达 200 万条，任务支持断点续跑与失败自动重试。 3. 反爬处理：请求头随机、Cookie 池、无头浏览器渲染动态页、代理 IP 池自动切换、验证码对接打码平台识别。 4. 数据清洗入库：按
企业 Excel 报表自动化处理工具
客户财务部门每月要从 30 多个分公司的表格里汇总数据，格式各不相同，靠人工核对、复制、公式计算，6 个人要干 3 天，经常算错还要返工。需要一套能一键出报表的自动化工具。 核心功能： 1. 自动识别与合并：扫描指定文件夹内所有 Excel/CSV 文件，自动识别表头、跳过空行空列、统一字段名称，把多份文件合并成一张总表。 2. 数据清洗与校验：去重、格式标准化、金额与日期纠错，对缺失值、异常值、重复单号自动标记并生成异常清单。 3. 规则计算：按客户业务规则自动做分类汇总、同比环比、部门维度透视、公式计算，不依赖人工填表。 4. 报表生成：用 OpenPyXL 输出带格式、带公
案例判断参考
七七的案例列表
分布式多平台电商数据采集系统
项目背景：客户需要持续跟踪多个电商平台的商品价格、库存与销量变化，原本靠人工每天复制粘贴，效率低且容易漏数据，需要一套能自动跑、自动入库、自动告警的采集系统。 核心功能： 1. 多平台采集：分别适配不同网站的商品列表页与详情页，支持分页、搜索页、榜单页，字段覆盖标题、价格、原价、库存、销量、店铺、SKU、评论数。 2. 分布式调度：Scrapy + Redis 分布式，多节点并行，日采集量可达 200 万条，任务支持断点续跑与失败自动重试。 3. 反爬处理：请求头随机、Cookie 池、无头浏览器渲染动态页、代理 IP 池自动切换、验证码对接打码平台识别。 4. 数据清洗入库：按...
企业 Excel 报表自动化处理工具
客户财务部门每月要从 30 多个分公司的表格里汇总数据，格式各不相同，靠人工核对、复制、公式计算，6 个人要干 3 天，经常算错还要返工。需要一套能一键出报表的自动化工具。 核心功能： 1. 自动识别与合并：扫描指定文件夹内所有 Excel/CSV 文件，自动识别表头、跳过空行空列、统一字段名称，把多份文件合并成一张总表。 2. 数据清洗与校验：去重、格式标准化、金额与日期纠错，对缺失值、异常值、重复单号自动标记并生成异常清单。 3. 规则计算：按客户业务规则自动做分类汇总、同比环比、部门维度透视、公式计算，不依赖人工填表。 4. 报表生成：用 OpenPyXL 输出带格式、带公...
