本人专注于爬虫逆向工程领域,具备从网络请求发起至数据解析落地的全链路技术闭环能力。在网络协议分析层面,精通TCP/IP、HTTP/HTTPS及WebSocket协议,熟练使用Wireshark、Fiddler及Charles进行底层数据包抓取与协议语义解析,能够精准定位数据加密入口。针对前端安全对抗,深度掌握JavaScript/Node.js逆向工程,擅长运用AST(抽象语法树)技术对混淆、压缩及OB混淆后的JS代码进行节点还原与逻辑梳理,能独立剥离浏览器指纹、环境检测及反调试逻辑(如使用debugger语句、定时器检测等)。
在主流反爬策略突破上,对阿里系、腾讯系及字节跳动系等大厂的风控体系有深入研究,熟悉动态Cookie生成、签名算法(如参数ak、as、tk、sign等)的还原流程,并能够通过XHR断点、堆栈回溯及Hook技术定位核心加密函数。同时,熟练使用Python构建高并发稳定的爬虫框架(Scrapy、Aiohttp),配合代理池、限速及重试机制解决IP封锁问题。在移动端逆向方面,具备Android端Smali代码静态分析及Frida/Xposed动态Hook能力,可处理App端的SSL Pinning证书锁定及so层算法调用。此外,熟悉主流数据库(MySQL、MongoDB)及消息队列(Redis)的读写优化,确保数据存储与分发的低延迟。日常开发环境基于Linux/macOS,熟练使用Git进行版本协作,致力于编写高内聚、低耦合且具有商业健壮性的爬虫代码。
项目一:某头部电商平台全网价格监控与竞品分析系统
该项目旨在实时抓取竞品商品的价格、库存、销量及促销活动信息,为企业的动态定价策略提供数据支撑。我作为核心技术负责人,独立完成了从逆向分析到数据落地的全流程。该平台采用了多重反爬机制,包括基于图灵测试的动态请求参数(包含时间戳扰动、设备指纹及加密token)、行为轨迹检测以及IP频控策略。我通过Chrome开发者工具与Frida联合调试,定位到核心签名算法位于混淆后的webpack模块中,利用AST(抽象语法树)技术对混淆代码进行语义还原与逻辑拆分,成功剔除了环境自检与反调试代码段,并逆向出基于HMAC-SHA256与AES-CBC嵌套的加密生成逻辑。为应对高频请求触发的滑块验证,我模拟了鼠标移动轨迹与点击行为,结合深度学习框架完成缺口识别与轨迹生成,将验证码通过率提升至85%以上。最终,该系统以单机日处理500万级商品数据的性能稳定运行,数据延迟控制在3分钟以内,直接支撑了公司每季度超千万的GMV调整决策。
项目二:某社交App逆向与风控数据采集
针对一款采用腾讯乐固加固的社交App,我负责破解其登录协议及消息推送接口。通过脱壳与Jadx静态分析,定位到so层包含自定义的XOR与Base64变种编码算法,利用Unidbg模拟执行环境,成功绕过证书绑定(SSL Pinning)并将算法移植至Python端,实现了设备注册、好友关系链抓取及群组消息监听,日采集用户行为数据超百万条。同时,针对App内嵌的WAF风控策略,我设计了动态代理池与UA轮换机制,并编写Xposed模块动态Hook关键检测函数(如Imei/AndroidId获取),有效规避了账号封禁风险。该项目为公司社交舆情分析产品提供了稳定的底层数据源,累计稳定运行超过18个月。