需求描述
高级逆向爬虫工程师 – 技术要求(含渗透能力)
一、基础能力
编程语言
精通 Python,熟练使用异步框架(如 asyncio / aiohttp)。
熟悉 JavaScript/Node.js,能够分析前端加密逻辑。
了解 C/C++(用于分析 native 层或脱壳辅助)加分。
熟悉 Go/Java 任一加分。
网络协议
深刻理解 HTTP/HTTPS、WebSocket、TCP/UDP、gRPC、HTTP/2/3 协议细节。
熟练使用抓包工具(Wireshark、Charles、Fiddler、Burp Suite、mitmproxy)。
能够分析 TLS 指纹、JA3、HTTP/2 指纹等反爬机制。
二、核心逆向能力
JavaScript 逆向
熟练使用 AST 技术还原混淆代码(Obfuscator、JScrambler、JJEncode 等)。
能够分析前端加解密算法(RSA、AES、SM4、自定义 XOR 等)。
熟悉浏览器 API 的 hook 技术(XHR、Fetch、WebSocket、Canvas、WebGL 指纹等)。
能够动态调试 JS(Chrome DevTools、Node.js 调试、v8 调试)。
安卓逆向
熟悉 Frida、Xposed,能动态 hook Java/Native 方法。
了解 APK 脱壳(如 frida-unpack、DumpDex)。
能分析 so 层加密算法(IDA Pro、Ghidra、Unicorn 模拟执行)。
常见反爬对抗经验
验证码(极验、数美、阿里、腾讯等)识别或模拟。
设备指纹(浏览器、安卓模拟器、真机指纹伪造)。
请求签名(如 _signature、token、x-b3-traceid 等)。
账号风控(IP 池、行为模拟、请求间隔随机化、Cookie/Session 复用)。
三、渗透测试能力(新增核心模块)
Web 渗透
熟悉 OWASP Top 10 漏洞原理与利用(SQL 注入、XSS、CSRF、SSRF、反序列化、文件上传等)。
能够手工或使用工具(SQLMap、Nmap、Burp Suite、Metasploit)进行渗透测试。
能够绕过常见 WAF(如 Cloudflare、AWS WAF、安全狗、D盾)。
了解常见 CMS(WordPress、ThinkPHP、Drupal)历史漏洞利用。
认证与权限绕过
能够分析后台登录、API 鉴权逻辑,寻找越权漏洞(IDOR)。
能够绕过验证码(图形、短信、滑动验证码)。
能够通过 Cookie/Session 伪造、JWT 破解等方式获取访问权限。
信息收集与侦查
熟练使用被动/主动信息收集工具(OneForAll、subfinder、httpx、nuclei、shodan、fofa)。
能够从 JS 文件中提取隐藏接口、敏感信息(API Key、内网地址)。
能够分析 CDN 真实 IP、源站定位。
内网渗透(加分项)
了解内网横向移动、隧道代理(frp、nps、EarthWorm)。
了解常见中间件漏洞(Redis 未授权、Tomcat 弱口令、Jenkins RCE)。
了解 Windows/Linux 权限维持方法。
四、工程与架构能力
爬虫架构设计
设计高可用分布式爬虫系统(如 Scrapy-Redis、Celery、Kafka + 自研调度)。
任务去重、增量抓取、断点续爬、动态优先级调整。
数据清洗、结构化存储(MySQL、MongoDB、ClickHouse、Hive)。
反检测与代理
维护高质量代理池(住宅代理、移动代理、动态转发代理)。
配置指纹浏览器(Puppeteer Extra + Stealth、Playwright、Selenium 规避)。
自动化管理 User-Agent、Cookies、浏览器指纹(Canvas、WebGL、AudioContext 等)。
性能优化
高并发、低延迟抓取(协程、多进程、事件驱动)。
缓存策略(Redis 缓存响应、页面归档)。
反反爬措施(动态限速、指数退避重试、随机休眠)。
五、工具链与安全
逆向工具:IDA Pro、GDB、OllyDbg、Radare2(至少熟悉一种)。
渗透工具:Burp Suite(熟练)、SQLMap、Nmap、Metasploit、Cobalt Strike(加分)。
脱壳工具:UPX、梆梆、360 加固等脱壳经验。
代码混淆对抗:ollvm、vmp 简单识别与绕过。
版本控制:Git(熟练使用)。
CI/CD:了解 Jenkins、GitLab CI、Docker 部署。
六、加分项
有大型电商、社交、短视频平台逆向经验(如某宝、某音、某书)。
能够逆向 小程序 或 Flutter/React Native 应用。
编写过 IDA 脚本(Python/IDC)或 Frida 插件。
对 AI 验证码识别(YOLO、CNN、OCR)有实践。
有对抗 WAF(如 Cloudflare、Akamai、DataDome)经验。
能编写 浏览器插件 辅助数据采集。
拥有 CVE 或提交过漏洞报告(SRC)。
熟悉 零日漏洞挖掘 或 红队工具开发。
七、软性要求
自驱力强,主动跟进反爬变化并快速给出解决方案。
有代码 Review 习惯,能输出技术文档。
对逆向与渗透技术有热情,乐于分享(如写博客、做内部分享)。
具备安全合规意识,不越红线,遵守授权边界。