技术栈: Node.js / hoxy(MITM 代理)/ Puppeteer / axios / 飞书 Webhook
独立设计并实现基于 MITM 代理的视频号数据采集方案:将 hoxy 代理(端口 8054)设为系统代理,拦截微信客户端 HTTPS 流量,实现无侵入式数据采集
通过在视频号页面注入自定义 JavaScript,Hook 微信前端 get media() 属性,将视频列表、账号信息、互动数据实时截获并通过虚拟域名上报
实现与 tigi-console 服务端的任务驱动架构:客户端每 10 秒轮询任务队列,按任务类型(关键词搜索 / 账号主页 / 视频详情)驱动注入脚本执行,完成后即刻拉取下一任务,实现串行无缝衔接
设计多层可靠性保障机制:任务心跳文件 + 60 秒卡顿检测(超 5 分钟自动刷新页面)、进程存活心跳(防事件循环死锁)、飞书实时告警(采集卡住 / 微信进程异常 / 网络接口连续失败)
对上报 Payload 实施精简策略,剔除冗余的 CDN 规格、编解码、雪碧图等字段,单次上报体积降低 80% 以上,解决 120 秒超时与连接被重置问题
设计三类接口独立健康计数器,连续失败达阈值触发飞书告警并在恢复后自动发送通知,实现 7×24 小时无人值守运行
需求方专属客服,免费梳理匹配