视频号公域数据采集系统
案例介绍
独立设计并实现基于 MITM 代理的视频号数据采集方案：将 hoxy 代理（端口 8054）设为系统代理，拦截微信客户端 HTTPS 流量，实现无侵入式数据采集
通过在视频号页面注入自定义 JavaScript，Hook 微信前端 get media() 属性，将视频列表、账号信息、互动数据实时截获并通过虚拟域名上报
实现与 tigi-console 服务端的任务驱动架构：客户端每 10 秒轮询任务队列，按任务类型（关键词搜索 / 账号主页 / 视频详情）驱动注入脚本执行，完成后即刻拉取下一任务，实现串行无缝衔接
设计多层可靠性保障机制：任务心跳文件 + 60 秒卡顿检测（超 5 分钟自动刷新页面）、进程存活心跳（防事件循环死锁）、飞书实时告警（采集卡住 / 微信进程异常 / 网络接口连续失败）
对上报 Payload 实施精简策略，剔除冗余的 CDN 规格、编解码、雪碧图等字段，单次上报体积降低 80% 以上，解决 120 秒超时与连接被重置问题
设计三类接口独立健康计数器，连续失败达阈值触发飞书告警并在恢复后自动发送通知，实现 7×24 小时无人值守运行
视频号公域数据采集系统
案例介绍
技术栈： Node.js / hoxy（MITM 代理）/ Puppeteer / axios / 飞书 Webhook
独立设计并实现基于 MITM 代理的视频号数据采集方案：将 hoxy 代理（端口 8054）设为系统代理，拦截微信客户端 HTTPS 流量，实现无侵入式数据采集
通过在视频号页面注入自定义 JavaScript，Hook 微信前端 get media() 属性，将视频列表、账号信息、互动数据实时截获并通过虚拟域名上报
实现与 tigi-console 服务端的任务驱动架构：客户端每 10 秒轮询任务队列，按任务类型（关键词搜索 / 账号主页 / 视频详情）驱动注入脚本执行，完成后即刻拉取下一任务，实现串行无缝衔接
设计多层可靠性保障机制：任务心跳文件 + 60 秒卡顿检测（超 5 分钟自动刷新页面）、进程存活心跳（防事件循环死锁）、飞书实时告警（采集卡住 / 微信进程异常 / 网络接口连续失败）
对上报 Payload 实施精简策略，剔除冗余的 CDN 规格、编解码、雪碧图等字段，单次上报体积降低 80% 以上，解决 120 秒超时与连接被重置问题
设计三类接口独立健康计数器，连续失败达阈值触发飞书告警并在恢复后自动发送通知，实现 7×24 小时无人值守运行
案例图片
相似案例推荐
-
电商平台
1.商砼之家包含：商砼之家官网，商城，运营后台，商家后台，综
-
三方支付系统管理后台
核心功能模块 三方支付系统主要包含用户支付端、商户后台
-
家居电商B2C商城
基于 Vue3 + Vant + ThinkPHP6 开发的
-
SGS 专业检测机构项目，青岛银行项目
https://member.sgsonline.com.c
-
京东收藏项目
老酒收藏项目，b2c和c2c渠道收藏品购买，收藏，提货，转卖
-
极选商城 - 电商小程序
基于微信小程序开发的电商商城，包含完整的商品展示、购物车、下
1小时精推人才
需求方专属客服，免费梳理匹配
