视频号公域数据采集系统

电子商务 · B2C 案例ID: 243535
联系该工程师
微信扫码,建群沟通
作者: Sunshine米线 - 13年经验- 阿里巴巴

案例介绍

技术栈: Node.js / hoxy(MITM 代理)/ Puppeteer / axios / 飞书 Webhook

独立设计并实现基于 MITM 代理的视频号数据采集方案:将 hoxy 代理(端口 8054)设为系统代理,拦截微信客户端 HTTPS 流量,实现无侵入式数据采集
通过在视频号页面注入自定义 JavaScript,Hook 微信前端 get media() 属性,将视频列表、账号信息、互动数据实时截获并通过虚拟域名上报
实现与 tigi-console 服务端的任务驱动架构:客户端每 10 秒轮询任务队列,按任务类型(关键词搜索 / 账号主页 / 视频详情)驱动注入脚本执行,完成后即刻拉取下一任务,实现串行无缝衔接
设计多层可靠性保障机制:任务心跳文件 + 60 秒卡顿检测(超 5 分钟自动刷新页面)、进程存活心跳(防事件循环死锁)、飞书实时告警(采集卡住 / 微信进程异常 / 网络接口连续失败)
对上报 Payload 实施精简策略,剔除冗余的 CDN 规格、编解码、雪碧图等字段,单次上报体积降低 80% 以上,解决 120 秒超时与连接被重置问题
设计三类接口独立健康计数器,连续失败达阈值触发飞书告警并在恢复后自动发送通知,实现 7×24 小时无人值守运行

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
微信沟通 联系需求方端客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×