本项目为一套基于Python开发的网页数据采集、清洗与Excel自动分析工具。我独立负责需求梳理、数据提取、字段解析、数据合并、统计规则编写及报表生成。
程序能够批量获取授权或公开页面中的结构化记录,自动识别用户ID、名称、数值、位置、行为过程和最终结果,并将原始数据保存为JSON。随后通过Pandas和OpenPyXL完成数据清洗、去重、分类、同一ID合并、多工作表生成和汇总统计,最终输出格式清晰的Excel分析文件。
工具支持批量处理、运行进度显示、异常记录、重复数据过滤、列宽自适应和多Sheet分类,可显著减少人工复制、整理和统计所需时间。项目可扩展应用于运营数据、销售记录、用户行为、订单明细及其他网页数据的自动化采集与报表分析。
使用技术:Python、Requests、Asyncio、JSON、Pandas、OpenPyXL、Excel自动化。