项目背景:为小型商家做公开网页信息自动化采集与数据整理项目,解决人工复制网页信息耗时、容易出错的问题,仅采集网站公开可见数据,用于信息汇总统计。
我的职责:使用Python开发采集脚本,熟练运用requests、BeautifulSoup、Selenium等库,处理静态网页与动态渲染页面;学习并尝试基础JS逆向,应对简单加密接口;完成采集后的数据清洗、去重,利用Pandas开展基础数据分析与统计。
结果产出:脚本稳定抓取公开网页数据,单次任务可采集数千条结构化信息,输出清洗完成的Excel数据表,省去人工录入工作。能够承接小型网页采集、自动化脚本、基础数据整理类项目,交付可运行代码与数据报表,严格遵守网站采集规范。