爬虫

电子商务团购案例ID：246216

LPY

1 年经验· lpy

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

1. 通用型JS逆向辅助工具链（自研）
开发了一套涵盖“AST还原”、“Webpack模块加载器模拟”、“常见加密算法识别”的VSCode插件集。该工具可自动识别并还原OB混淆、JJEncode及Sojson等主流混淆方案，将混淆后的代码还原为可读性较高的逻辑代码，并内置了常见签名算法（如MD5、SHA系列、HMAC）的指纹匹配库，大幅提升了逆向分析效率，该工具在个人技术社区中获得数百次下载。

2. 分布式爬虫调度管理平台（核心贡献者）
参与设计并实现了一个轻量级的分布式爬虫管理后台，基于Scrapy + Redis + Docker构建。作品支持爬虫任务的动态添加、定时启动、日志实时监控及数据可视化展示。我负责了中间件模块的开发，包括自定义下载器中间件（实现代理IP自动切换与失败重试）及Item Pipeline（完成数据去重与多数据库异构存储）。该平台已成功支撑过3个以上中型电商数据采集项目。

3. 移动端Hook调试框架（Frida脚本集）
开源了一套针对Android端常见风控SDK（如数美、同盾）的Frida Hook脚本集合，能够动态打印关键函数的入参、返回值及调用栈信息，辅助定位加密参数的生成上下文。同时包含针对HttpURLConnection和OkHttp的通用抓包绕过脚本，有效解决SSL Pinning问题。