精通Python开发,擅长网络爬虫、数据抓取与处理、自动化脚本编写。熟练使用requests、BeautifulSoup、Scrapy等爬虫框架,能够处理反爬机制、动态渲染页面。具备数据分析能力,熟练使用pandas进行数据清洗与处理。有Web开发经验,熟悉Flask、Django框架。能够独立完成从需求分析到交付的全流程开发,代码规范,注重效率与质量。
1. 电商数据采集系统:为某电商企业开发商品信息采集系统,实现多平台数据自动抓取、清洗与导出,日采集数据量超10万条,大幅提升客户市场分析效率。
2. 政府数据自动化处理:为政府部门开发数据报表自动化生成工具,将原本需要2天的人工处理工作缩短至10分钟,准确率达99%以上。
3. 企业信息爬虫服务:为多家企业提供工商信息、招投标信息抓取服务,支持定时任务与增量更新,帮助客户及时掌握市场动态。
本项目是一套基于 Python 的电商商品数据采集与分析工具,工程按抓取-解析-导出三层解耦设计,接入新站点时通常只需修改 CSS 选择器配置即可。\n\n核心功能包括:1)分页抓取,支持自定义页数与 URL 参数合并;2)自动提取商品名称、价格、销量、评分、店铺名、商品链接等字
本项目是一套基于 Python + pandas 的 Excel 自动化报表处理工具,定位于结构化、字段一致的台账类 Excel(如财务流水、HR 报表、销售台账)的批量合并、清洗与汇总。\n\n核心功能包括:1)批量扫描目录下 Excel 文件,自动跳过 Office 临时锁文