本项目针对某主流航空微信小程序,开发自动化数据采集系统,实现全量航班动态、实时票价及余票信息的定时监控与抓取。全程采用纯协议逆向方式,运行高效且稳定。
我在本项目中负责核心协议的分析与爬虫逻辑开发,主要工作包括:
小程序抓包与脱壳:使用Proxifier+Charles对微信小程序进行全量抓包,提取航班查询的核心API接口,并对小程序包进行反编译分析。
加密参数逆向:通过分析小程序JS源码与动态调试,成功破解了请求头中的核心签名(Sign/token)生成逻辑,使用Python完整复现加密算法,实现脱离小程序环境直接请求接口。
反爬对抗与数据清洗:针对接口的请求频次限制,设计并接入代理IP池轮换策略;使用Pandas对返回的JSON数据进行深度解析与清洗,最终结构化入库。
该系统单日稳定采集数十万条航班数据,为客户的航线定价分析与竞品监控提供可靠支撑