专职Python数据采集与自动化开发工程师，熟练各类网页动态数据抓取、反爬处理、数据清洗结构化、批量数据集整理。熟练Playwright、Selenium、undetected_chromedriver等主流自动化框架，擅长动态JS渲染、登录态维持、代理防封、异步接口抓包、高频更新站点稳定采集。

日常长期从事军工、飞行器、地面载具、声学噪声数据集采集与整理工作，对大批量数据分类、筛选、清洗、标准化输出有丰富落地经验。

接单风格：需求清晰、交付稳定、代码整洁、售后耐心，绝不敷衍Demo、不烂尾、不隐形加价，适合长期合作、月度维护、批量数据项目。

核心技术栈

编程语言

Python 主力开发，熟练使用 Requests、Asyncio、多线程/多进程并发采集

爬虫&反爬

- 静态/动态网页全站抓取、分页批量采集、接口解密
- Playwright、Selenium、无头浏览器自动化
- 指纹伪装、UA轮换、代理池接入、Cookie登录态持久化
- 应对限流、验证码、超时拦截、高频封禁场景

数据处理

大批量数据清洗、去重、分类、结构化整理
输出格式：Excel / CSV / JSON / MySQL入库 / 结构化文件夹归档
擅长音频、数据集、图文资料批量规整整理

环境&工具

Linux、Windows脚本部署、定时任务、日志排查
MySQL、MinIO、OSS文件存储、批量文件处理

问题排查

熟练处理 Timeout、连接拒绝、跨域、异步加载、JS加密、动态Token、页面渲染异常等各类爬虫常见问题

可接项目类型（全部可直接落地）

1. 各类公开网页数据批量爬取、结构化导出
2. JS动态渲染、Ajax异步接口数据抓取
3. 需要登录、Cookie、模拟人工操作的复杂站点
4. 防封禁、高频稳定长期采集项目部署
5. 大批量数据集整理、分类、清洗、标准化
6. Excel自动化处理、批量改表、数据匹配清洗
7. 定时爬虫部署、长期维护、BUG修复、脚本优化

工作优势

1. 有全职数据采集工作经验，项目落地能力强，不是新手练手
2. 沟通清晰，接单前确认抓取范围、字段、格式、数量、修改次数，杜绝后期扯皮
3. 交付成品可直接运行，代码注释完整、可二次修改
4. 小问题免费微调，长期项目可稳定维护
5. 夜间、周末可随时对接需求，交付速度快

接单原则

1. 按需求报价，透明合理，无隐形消费
2. 严格走平台托管，双方保障
3. 不接违法、隐私、涉密、侵权类爬虫项目
4. 接受短期小单、长期包月维护、批量数据项目

项目一：SpiderFlow可视化爬虫 + Python脚本二次开发 多源数据一体化采集平台

负责企业级多源数据自动化采集流水线搭建，主要针对动态JS网站、异步接口、登录权限站点进行批量数据抓取与规整入库。

结合SpiderFlow可视化爬虫做快速节点编排，同时使用Python进行深度脚本拓展，解决可视化平台无法处理的接口加密、动态Token、指纹校验、高频反爬等难点。针对不同站点适配浏览器伪装、UA轮换、Cookie持久化、失败自动重试机制，大幅提升爬虫稳定性。

统一制定数据输出标准，完成多源数据清洗、去重、字段规整、空值过滤、跨站点数据融合，最终结构化输出Excel、CSV、JSON格式，支持MySQL数据库入库与文件归档存储。

项目落地中高频解决页面超时、连接拒绝、CORS跨域、驱动兼容、元素动态失效等线上异常，构建了可长期稳定运行的自动化采集体系，支持定时增量更新、日志监控、无人值守运行，大幅提升整体数据采集效率与维护稳定性。

项目二：Python办公自动化 & 大批量Excel数据批量处理系统

针对日常大量重复表格整理、数据比对、批量筛选、汇总统计等低效人工工作，独立开发全套自动化Python脚本工具。

实现功能包含：多Excel批量合并、多表字段匹配、批量拆分表格、条件筛选导出、文本批量提取、异常数据标记、上万行数据快速规整。

原本人工单日8小时工作量，脚本可在10分钟内全自动完成，大幅减少人工失误、提升数据准确率。脚本兼容性强、可自定义字段、可按需修改逻辑，适配绝大多数企业日常数据处理、统计、规整需求。

熟练处理大批量杂乱原始数据，能够快速完成清洗、标准化、分类归档、结构化输出，交付结果可直接用于报表、统计、建模、归档使用。