爬虫项目

项目总价 1500元
预估日薪 500/天
合作方式: 时间制
预估工时: 3天
发布位置: 成都
参与范围: 全国远程
领悟
领悟
职位ID: 159421复制

发布方信用行为

发布项目
0
订单总数
0
退款单数

需求描述

高级逆向爬虫工程师 – 技术要求(含渗透能力)
一、基础能力
编程语言

精通 Python,熟练使用异步框架(如 asyncio / aiohttp)。

熟悉 JavaScript/Node.js,能够分析前端加密逻辑。

了解 C/C++(用于分析 native 层或脱壳辅助)加分。

熟悉 Go/Java 任一加分。

网络协议

深刻理解 HTTP/HTTPS、WebSocket、TCP/UDP、gRPC、HTTP/2/3 协议细节。

熟练使用抓包工具(Wireshark、Charles、Fiddler、Burp Suite、mitmproxy)。

能够分析 TLS 指纹、JA3、HTTP/2 指纹等反爬机制。

二、核心逆向能力
JavaScript 逆向

熟练使用 AST 技术还原混淆代码(Obfuscator、JScrambler、JJEncode 等)。

能够分析前端加解密算法(RSA、AES、SM4、自定义 XOR 等)。

熟悉浏览器 API 的 hook 技术(XHR、Fetch、WebSocket、Canvas、WebGL 指纹等)。

能够动态调试 JS(Chrome DevTools、Node.js 调试、v8 调试)。

安卓逆向

熟悉 Frida、Xposed,能动态 hook Java/Native 方法。

了解 APK 脱壳(如 frida-unpack、DumpDex)。

能分析 so 层加密算法(IDA Pro、Ghidra、Unicorn 模拟执行)。

常见反爬对抗经验

验证码(极验、数美、阿里、腾讯等)识别或模拟。

设备指纹(浏览器、安卓模拟器、真机指纹伪造)。

请求签名(如 _signature、token、x-b3-traceid 等)。

账号风控(IP 池、行为模拟、请求间隔随机化、Cookie/Session 复用)。

三、渗透测试能力(新增核心模块)
Web 渗透

熟悉 OWASP Top 10 漏洞原理与利用(SQL 注入、XSS、CSRF、SSRF、反序列化、文件上传等)。

能够手工或使用工具(SQLMap、Nmap、Burp Suite、Metasploit)进行渗透测试。

能够绕过常见 WAF(如 Cloudflare、AWS WAF、安全狗、D盾)。

了解常见 CMS(WordPress、ThinkPHP、Drupal)历史漏洞利用。

认证与权限绕过

能够分析后台登录、API 鉴权逻辑,寻找越权漏洞(IDOR)。

能够绕过验证码(图形、短信、滑动验证码)。

能够通过 Cookie/Session 伪造、JWT 破解等方式获取访问权限。

信息收集与侦查

熟练使用被动/主动信息收集工具(OneForAll、subfinder、httpx、nuclei、shodan、fofa)。

能够从 JS 文件中提取隐藏接口、敏感信息(API Key、内网地址)。

能够分析 CDN 真实 IP、源站定位。

内网渗透(加分项)

了解内网横向移动、隧道代理(frp、nps、EarthWorm)。

了解常见中间件漏洞(Redis 未授权、Tomcat 弱口令、Jenkins RCE)。

了解 Windows/Linux 权限维持方法。

四、工程与架构能力
爬虫架构设计

设计高可用分布式爬虫系统(如 Scrapy-Redis、Celery、Kafka + 自研调度)。

任务去重、增量抓取、断点续爬、动态优先级调整。

数据清洗、结构化存储(MySQL、MongoDB、ClickHouse、Hive)。

反检测与代理

维护高质量代理池(住宅代理、移动代理、动态转发代理)。

配置指纹浏览器(Puppeteer Extra + Stealth、Playwright、Selenium 规避)。

自动化管理 User-Agent、Cookies、浏览器指纹(Canvas、WebGL、AudioContext 等)。

性能优化

高并发、低延迟抓取(协程、多进程、事件驱动)。

缓存策略(Redis 缓存响应、页面归档)。

反反爬措施(动态限速、指数退避重试、随机休眠)。

五、工具链与安全
逆向工具:IDA Pro、GDB、OllyDbg、Radare2(至少熟悉一种)。

渗透工具:Burp Suite(熟练)、SQLMap、Nmap、Metasploit、Cobalt Strike(加分)。

脱壳工具:UPX、梆梆、360 加固等脱壳经验。

代码混淆对抗:ollvm、vmp 简单识别与绕过。

版本控制:Git(熟练使用)。

CI/CD:了解 Jenkins、GitLab CI、Docker 部署。

六、加分项
有大型电商、社交、短视频平台逆向经验(如某宝、某音、某书)。

能够逆向 小程序 或 Flutter/React Native 应用。

编写过 IDA 脚本(Python/IDC)或 Frida 插件。

对 AI 验证码识别(YOLO、CNN、OCR)有实践。

有对抗 WAF(如 Cloudflare、Akamai、DataDome)经验。

能编写 浏览器插件 辅助数据采集。

拥有 CVE 或提交过漏洞报告(SRC)。

熟悉 零日漏洞挖掘 或 红队工具开发。

七、软性要求
自驱力强,主动跟进反爬变化并快速给出解决方案。

有代码 Review 习惯,能输出技术文档。

对逆向与渗透技术有热情,乐于分享(如写博客、做内部分享)。

具备安全合规意识,不越红线,遵守授权边界。

爬虫项目

合作方式 时间制
预估日薪 500
预估总价 1500元
预估工时 3天
发布位置 成都
可参与范围 全国远程
职位ID 159421复制
发布方 领悟
领悟
已有60人投递 ,发布人 点此登录 后查看。

需求描述

高级逆向爬虫工程师 – 技术要求(含渗透能力)
一、基础能力
编程语言

精通 Python,熟练使用异步框架(如 asyncio / aiohttp)。

熟悉 JavaScript/Node.js,能够分析前端加密逻辑。

了解 C/C++(用于分析 native 层或脱壳辅助)加分。

熟悉 Go/Java 任一加分。

网络协议

深刻理解 HTTP/HTTPS、WebSocket、TCP/UDP、gRPC、HTTP/2/3 协议细节。

熟练使用抓包工具(Wireshark、Charles、Fiddler、Burp Suite、mitmproxy)。

能够分析 TLS 指纹、JA3、HTTP/2 指纹等反爬机制。

二、核心逆向能力
JavaScript 逆向

熟练使用 AST 技术还原混淆代码(Obfuscator、JScrambler、JJEncode 等)。

能够分析前端加解密算法(RSA、AES、SM4、自定义 XOR 等)。

熟悉浏览器 API 的 hook 技术(XHR、Fetch、WebSocket、Canvas、WebGL 指纹等)。

能够动态调试 JS(Chrome DevTools、Node.js 调试、v8 调试)。

安卓逆向

熟悉 Frida、Xposed,能动态 hook Java/Native 方法。

了解 APK 脱壳(如 frida-unpack、DumpDex)。

能分析 so 层加密算法(IDA Pro、Ghidra、Unicorn 模拟执行)。

常见反爬对抗经验

验证码(极验、数美、阿里、腾讯等)识别或模拟。

设备指纹(浏览器、安卓模拟器、真机指纹伪造)。

请求签名(如 _signature、token、x-b3-traceid 等)。

账号风控(IP 池、行为模拟、请求间隔随机化、Cookie/Session 复用)。

三、渗透测试能力(新增核心模块)
Web 渗透

熟悉 OWASP Top 10 漏洞原理与利用(SQL 注入、XSS、CSRF、SSRF、反序列化、文件上传等)。

能够手工或使用工具(SQLMap、Nmap、Burp Suite、Metasploit)进行渗透测试。

能够绕过常见 WAF(如 Cloudflare、AWS WAF、安全狗、D盾)。

了解常见 CMS(WordPress、ThinkPHP、Drupal)历史漏洞利用。

认证与权限绕过

能够分析后台登录、API 鉴权逻辑,寻找越权漏洞(IDOR)。

能够绕过验证码(图形、短信、滑动验证码)。

能够通过 Cookie/Session 伪造、JWT 破解等方式获取访问权限。

信息收集与侦查

熟练使用被动/主动信息收集工具(OneForAll、subfinder、httpx、nuclei、shodan、fofa)。

能够从 JS 文件中提取隐藏接口、敏感信息(API Key、内网地址)。

能够分析 CDN 真实 IP、源站定位。

内网渗透(加分项)

了解内网横向移动、隧道代理(frp、nps、EarthWorm)。

了解常见中间件漏洞(Redis 未授权、Tomcat 弱口令、Jenkins RCE)。

了解 Windows/Linux 权限维持方法。

四、工程与架构能力
爬虫架构设计

设计高可用分布式爬虫系统(如 Scrapy-Redis、Celery、Kafka + 自研调度)。

任务去重、增量抓取、断点续爬、动态优先级调整。

数据清洗、结构化存储(MySQL、MongoDB、ClickHouse、Hive)。

反检测与代理

维护高质量代理池(住宅代理、移动代理、动态转发代理)。

配置指纹浏览器(Puppeteer Extra + Stealth、Playwright、Selenium 规避)。

自动化管理 User-Agent、Cookies、浏览器指纹(Canvas、WebGL、AudioContext 等)。

性能优化

高并发、低延迟抓取(协程、多进程、事件驱动)。

缓存策略(Redis 缓存响应、页面归档)。

反反爬措施(动态限速、指数退避重试、随机休眠)。

五、工具链与安全
逆向工具:IDA Pro、GDB、OllyDbg、Radare2(至少熟悉一种)。

渗透工具:Burp Suite(熟练)、SQLMap、Nmap、Metasploit、Cobalt Strike(加分)。

脱壳工具:UPX、梆梆、360 加固等脱壳经验。

代码混淆对抗:ollvm、vmp 简单识别与绕过。

版本控制:Git(熟练使用)。

CI/CD:了解 Jenkins、GitLab CI、Docker 部署。

六、加分项
有大型电商、社交、短视频平台逆向经验(如某宝、某音、某书)。

能够逆向 小程序 或 Flutter/React Native 应用。

编写过 IDA 脚本(Python/IDC)或 Frida 插件。

对 AI 验证码识别(YOLO、CNN、OCR)有实践。

有对抗 WAF(如 Cloudflare、Akamai、DataDome)经验。

能编写 浏览器插件 辅助数据采集。

拥有 CVE 或提交过漏洞报告(SRC)。

熟悉 零日漏洞挖掘 或 红队工具开发。

七、软性要求
自驱力强,主动跟进反爬变化并快速给出解决方案。

有代码 Review 习惯,能输出技术文档。

对逆向与渗透技术有热情,乐于分享(如写博客、做内部分享)。

具备安全合规意识,不越红线,遵守授权边界。

发布方信用行为

发布项目 1
订单总数 0
退款单数 0

完善简历

工程师完善技术能力和项目经验,更易接到订单

完善人才简历

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。
已有 60 人投递
登录后查看投递状态