Champagnecat
none
- 公司信息：
- none
- 工作经验：
- 1年
- 兼职日薪：
- 1000元/8小时
- 兼职时间：
- 周六
- 周日
- 可工作日远程
- 可工作日驻场（自由职业原因）
- 所在区域：
- 北京
- 海淀
技术能力
Python · Scrapy · Selenium · Redis · AWS Lambda · Pandas
- **反爬策略**：
▸ 浏览器指纹模拟（Canvas/WebGL噪声注入）
▸ 请求频率混沌算法（避免固定时间间隔）
- **架构设计**：
▸ 基于AWS Lambda的无服务器调度，成本降低60%
▸ Prometheus+Grafana监控爬虫健康状态
- **合规处理**：
▸ 自动识别Robots.txt限制域
▸ 数据脱敏存储（GDPR兼容）
项目经验
项目名称：电商竞品价格监控系统开发
技术栈：Python · Scrapy · Selenium · Redis · AWS Lambda · Pandas
周期：2025.03 - 2025.06（3个月） | 交付方式：API + 数据看板
✅ 核心职责与成果
动态反爬破解：
设计自适应爬虫框架，通过 Playwright 自动切换浏览器指纹 + IP代理池（Luminati） 绕过京东/淘宝反爬系统，采集成功率从52%提升至98%。
实现 验证码智能处理：集成 Capsolver API 自动识别滑动验证码，人工干预率下降90%。
分布式数据抓取：
基于 Scrapy-Redis 构建分布式爬虫集群，调度200+节点并发抓取，日均处理 500万条 SKU数据（价格/评论/库存）。
数据存储优化：使用 MongoDB 分片集群 压缩存储成本40%，查询延迟<200ms。
数据清洗与交付：
开发 Pandas 自动化清洗管道，处理商品属性歧义（如“iPhone15” vs “苹果15”），字段归一化准确率达95%。
通过 FastAPI 提供实时数据接口，支持企业客户按品牌/品类订阅竞品价格波动预警。
