项目一:亚马逊网站数据采集
为某跨境电商代运营公司重构亚马逊竞品价格监控系统,用于实时追踪Top 100竞品的售价、排名及库存变动,支撑其每日动态调价策略。
核心挑战是目标站采用阿里系WAF,对高频请求IP做永久封禁,且商品价格接口带有动态VMP加密签名,每30秒失效一次。我通过三大手段破局:
指纹伪造:利用Playwright模拟真实浏览器指纹(Canvas/WebGL),配合隧道动态代理池,将IP被封禁率从30%降至0.5%;
JS逆向:通过AST(抽象语法树)还原混淆JS,抽离出签名算法并用Python复现,单请求耗时从2秒(浏览器模式)降至200ms(直接请求模式);
分布式调度:搭建Scrapy-Redis集群,8个节点并发采集,引入布隆过滤器做URL去重,避免重复采集浪费配额。
项目名称:基于官方API的淘宝/拼多多实时销售看板与日报系统开发
我的攻坚与技术方案:
API数据中台搭建(requests + retry机制):基于淘宝开放平台(TOP)和拼多多开放平台API,使用Python编写稳定的数据拉取中间层。设计指数退避重试机制与异常日志记录,处理接口限流和网络抖动,确保每日数万笔订单数据完整拉取,不丢单、不漏单。
数据清洗与融合(Pandas + 时间序列):将API返回的JSON数据解析并存入 MySQL。利用 SQLAlchemy 做批量插入。针对“仅退款”、“退货退款”、“待发货”等不同订单状态进行标签化处理,精确计算核销收入。增加同比/环比计算,自动剔除刷单/测试订单。
可视化报表交付(PyEcharts / Plotly):直接生成交互式HTML报表,老板用浏览器打开即可看到动态图表,包含平台销售占比、近7日销售趋势、热力图(周内几号卖得最好)、以及实时销售大屏截图直接推送至钉钉/微信群。
交付成果:数据统计零延迟,财务月初对账时间从1.5天缩减至10分钟。报表系统稳定运行至今已处理超过50万笔订单,完整经历2025年双11大促峰值考验,零故障。