人间难得此少年
python开发工程师
康比特科技有限公司 · 2年经验
日薪：
￥500/8h
地点：
北京
时间：
下班后周六可工作日远程可工作日驻场（离职原因）可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.掌握自动化框架Selenium、Dr issionPage的使用，了解Playwr ight框架的使用，能够熟练
使用Xpath，Re正则对网页数据的提取。
2.掌握Scrapy框架的整体架构及其核心组件，对其各个部件在其逻辑所处的位置、作用以在实
际信息采集过程中数据的流向有清晰的认识，能够使用该框架完成数据采集任务。了解Feapde
r框架的使用。
3.掌握JS逆向中常见的技术，包括但不限于HOOK技术、Webpack、WASM、OB混淆、常见
的加密算法和原型链补环境技术。
4.能够对常见的反爬手段制定反反爬策略，如无限Debugger，JS混淆，Cookie反爬，验证码
等；掌握常见的Cookie反爬安全产品的逻辑及其且觉办法，如加速乐，瑞数；能够通过协议处
理常见的云片，易盾等平台的滑块和点选验证码产品。
5.掌握常见的数据保存的操作方法，如MangoDB、MYSQL、CSV、EXCEL。
6.会使用Django框架进行网页开发，了解HTML，CSS,JS等前端技术。
7.熟练使用Trae、Cursor、OpenCode等AI编程工具辅助开发提升开发效率,掌握MCP和SKIL
L的配置。
使用Xpath，Re正则对网页数据的提取。
2.掌握Scrapy框架的整体架构及其核心组件，对其各个部件在其逻辑所处的位置、作用以在实
际信息采集过程中数据的流向有清晰的认识，能够使用该框架完成数据采集任务。了解Feapde
r框架的使用。
3.掌握JS逆向中常见的技术，包括但不限于HOOK技术、Webpack、WASM、OB混淆、常见
的加密算法和原型链补环境技术。
4.能够对常见的反爬手段制定反反爬策略，如无限Debugger，JS混淆，Cookie反爬，验证码
等；掌握常见的Cookie反爬安全产品的逻辑及其且觉办法，如加速乐，瑞数；能够通过协议处
理常见的云片，易盾等平台的滑块和点选验证码产品。
5.掌握常见的数据保存的操作方法，如MangoDB、MYSQL、CSV、EXCEL。
6.会使用Django框架进行网页开发，了解HTML，CSS,JS等前端技术。
7.熟练使用Trae、Cursor、OpenCode等AI编程工具辅助开发提升开发效率,掌握MCP和SKIL
L的配置。
项目经验
维普期刊学术文献数据采集爬虫开发工程师-
【项目背景】
学术期刊与文献元数据在科研分析、学科建设评价中具备极高的商业与应用价值。本项目旨在
完整提取维普期刊平台的结构化目录与详情数据。然而，目标网站部署了行业顶级的瑞数 6 代
动态安全防护系统，通过深度代码混淆、两次 412页面拦截、极其严苛的浏览器环境（BOM/D
OM）检测以及动态生成的 Cookie和动态后缀参数，全面封杀传统爬虫方案。为保障业务数据
的完整性与时效性，立项攻克瑞数 6 本地化运行环境还原，并构建企业级的大规模高并发数据
采集系统。
【项目介绍】
作为项目独立负责人，完成了从底层高难度反爬技术攻坚到上层分布式高并发采集架构的完整
搭建：
1.瑞数 6 代全链路逆向攻坚：
深入剖析瑞数系统的执行流程，厘清其首次请求返回 412状态码、第二层外壳 JS 动态解密、
以及加载长文本混淆代码（由三个关键 JS 节点组合而成）的运行机制。通过解密其自有的特殊
虚拟指令集，成功梳理出其核心 Cookie 签名的计算时机。
2.基于 Node. js 的浏览器沙箱环境（补环境）搭建：
为了摆脱笨重且低效的自动化工具（Selenium），采用纯协议流 + 本地 Node. js 补环境方
案。针对瑞数 6 代对浏览器特征的严苛审计，利用 JavaScr ipt 拦截技术（Proxy 代理拦截）
进行多维度的环境特征探针测定，完美补全了包括 window、document、locat ion、navig
at ion、screen以及 Canvas、时钟指纹在内的 100+ 个 DOM/BOM 核心环境变量，成功在本
地纯算法端无缝生成合法的瑞数 Cookie。
3.二级分类与期刊元数据精准采集：
针对维普网特殊的分类架构，设计了基于深度优先搜索（DFS）的分布式爬取逻辑。从一级大
类深入到二级细分领域（如：计算机科学、物联网工程等），实现期刊名称、主办单位、影响因
子、ISSN/CN 号、以及历届收录详情等高价值学术元数据的完整闭环采集。
3.高并发流式采集架构与高可用保障：
采用 Asyncio + Aiohttp 异步协程架构，将本地 Node. js 签名服务封装为内部高性能 RPC 接
口，实现秒级高吞吐的请求签名派发。
【项目成果】
项目成功上线并稳定运行，成功突破维普网瑞数 6 代防御，以纯协议高并发流完美采集了该平
台全部二级分类下万级的期刊基本信息及详情数据，数据解析准确率达 98% 以上，整体采集速
度相比自动化测试工具提升了 10 倍以上，为团队提供了高价值的学术元数据支撑。
【项目背景】
学术期刊与文献元数据在科研分析、学科建设评价中具备极高的商业与应用价值。本项目旨在
完整提取维普期刊平台的结构化目录与详情数据。然而，目标网站部署了行业顶级的瑞数 6 代
动态安全防护系统，通过深度代码混淆、两次 412页面拦截、极其严苛的浏览器环境（BOM/D
OM）检测以及动态生成的 Cookie和动态后缀参数，全面封杀传统爬虫方案。为保障业务数据
的完整性与时效性，立项攻克瑞数 6 本地化运行环境还原，并构建企业级的大规模高并发数据
采集系统。
【项目介绍】
作为项目独立负责人，完成了从底层高难度反爬技术攻坚到上层分布式高并发采集架构的完整
搭建：
1.瑞数 6 代全链路逆向攻坚：
深入剖析瑞数系统的执行流程，厘清其首次请求返回 412状态码、第二层外壳 JS 动态解密、
以及加载长文本混淆代码（由三个关键 JS 节点组合而成）的运行机制。通过解密其自有的特殊
虚拟指令集，成功梳理出其核心 Cookie 签名的计算时机。
2.基于 Node. js 的浏览器沙箱环境（补环境）搭建：
为了摆脱笨重且低效的自动化工具（Selenium），采用纯协议流 + 本地 Node. js 补环境方
案。针对瑞数 6 代对浏览器特征的严苛审计，利用 JavaScr ipt 拦截技术（Proxy 代理拦截）
进行多维度的环境特征探针测定，完美补全了包括 window、document、locat ion、navig
at ion、screen以及 Canvas、时钟指纹在内的 100+ 个 DOM/BOM 核心环境变量，成功在本
地纯算法端无缝生成合法的瑞数 Cookie。
3.二级分类与期刊元数据精准采集：
针对维普网特殊的分类架构，设计了基于深度优先搜索（DFS）的分布式爬取逻辑。从一级大
类深入到二级细分领域（如：计算机科学、物联网工程等），实现期刊名称、主办单位、影响因
子、ISSN/CN 号、以及历届收录详情等高价值学术元数据的完整闭环采集。
3.高并发流式采集架构与高可用保障：
采用 Asyncio + Aiohttp 异步协程架构，将本地 Node. js 签名服务封装为内部高性能 RPC 接
口，实现秒级高吞吐的请求签名派发。
【项目成果】
项目成功上线并稳定运行，成功突破维普网瑞数 6 代防御，以纯协议高并发流完美采集了该平
台全部二级分类下万级的期刊基本信息及详情数据，数据解析准确率达 98% 以上，整体采集速
度相比自动化测试工具提升了 10 倍以上，为团队提供了高价值的学术元数据支撑。
ID:437931
复制
人间难得此少年
python开发工程师 · 2年经验 · 康比特科技有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.掌握自动化框架Selenium、Dr issionPage的使用，了解Playwr ight框架的使用，能够熟练
使用Xpath，Re正则对网页数据的提取。
2.掌握Scrapy框架的整体架构及其核心组件，对其各个部件在其逻辑所处的位置、作用以在实
际信息采集过程中数据的流向有清晰的认识，能够使用该框架完成数据采集任务。了解Feapde
r框架的使用。
3.掌握JS逆向中常见的技术，包括但不限于HOOK技术、Webpack、WASM、OB混淆、常见
的加密算法和原型链补环境技术。
4.能够对常见的反爬手段制定反反爬策略，如无限Debugger，JS混淆，Cookie反爬，验证码
等；掌握常见的Cookie反爬安全产品的逻辑及其且觉办法，如加速乐，瑞数；能够通过协议处
理常见的云片，易盾等平台的滑块和点选验证码产品。
5.掌握常见的数据保存的操作方法，如MangoDB、MYSQL、CSV、EXCEL。
6.会使用Django框架进行网页开发，了解HTML，CSS,JS等前端技术。
7.熟练使用Trae、Cursor、OpenCode等AI编程工具辅助开发提升开发效率,掌握MCP和SKIL
L的配置。
使用Xpath，Re正则对网页数据的提取。
2.掌握Scrapy框架的整体架构及其核心组件，对其各个部件在其逻辑所处的位置、作用以在实
际信息采集过程中数据的流向有清晰的认识，能够使用该框架完成数据采集任务。了解Feapde
r框架的使用。
3.掌握JS逆向中常见的技术，包括但不限于HOOK技术、Webpack、WASM、OB混淆、常见
的加密算法和原型链补环境技术。
4.能够对常见的反爬手段制定反反爬策略，如无限Debugger，JS混淆，Cookie反爬，验证码
等；掌握常见的Cookie反爬安全产品的逻辑及其且觉办法，如加速乐，瑞数；能够通过协议处
理常见的云片，易盾等平台的滑块和点选验证码产品。
5.掌握常见的数据保存的操作方法，如MangoDB、MYSQL、CSV、EXCEL。
6.会使用Django框架进行网页开发，了解HTML，CSS,JS等前端技术。
7.熟练使用Trae、Cursor、OpenCode等AI编程工具辅助开发提升开发效率,掌握MCP和SKIL
L的配置。
项目经验
维普期刊学术文献数据采集爬虫开发工程师-
【项目背景】
学术期刊与文献元数据在科研分析、学科建设评价中具备极高的商业与应用价值。本项目旨在
完整提取维普期刊平台的结构化目录与详情数据。然而，目标网站部署了行业顶级的瑞数 6 代
动态安全防护系统，通过深度代码混淆、两次 412页面拦截、极其严苛的浏览器环境（BOM/D
OM）检测以及动态生成的 Cookie和动态后缀参数，全面封杀传统爬虫方案。为保障业务数据
的完整性与时效性，立项攻克瑞数 6 本地化运行环境还原，并构建企业级的大规模高并发数据
采集系统。
【项目介绍】
作为项目独立负责人，完成了从底层高难度反爬技术攻坚到上层分布式高并发采集架构的完整
搭建：
1.瑞数 6 代全链路逆向攻坚：
深入剖析瑞数系统的执行流程，厘清其首次请求返回 412状态码、第二层外壳 JS 动态解密、
以及加载长文本混淆代码（由三个关键 JS 节点组合而成）的运行机制。通过解密其自有的特殊
虚拟指令集，成功梳理出其核心 Cookie 签名的计算时机。
2.基于 Node. js 的浏览器沙箱环境（补环境）搭建：
为了摆脱笨重且低效的自动化工具（Selenium），采用纯协议流 + 本地 Node. js 补环境方
案。针对瑞数 6 代对浏览器特征的严苛审计，利用 JavaScr ipt 拦截技术（Proxy 代理拦截）
进行多维度的环境特征探针测定，完美补全了包括 window、document、locat ion、navig
at ion、screen以及 Canvas、时钟指纹在内的 100+ 个 DOM/BOM 核心环境变量，成功在本
地纯算法端无缝生成合法的瑞数 Cookie。
3.二级分类与期刊元数据精准采集：
针对维普网特殊的分类架构，设计了基于深度优先搜索（DFS）的分布式爬取逻辑。从一级大
类深入到二级细分领域（如：计算机科学、物联网工程等），实现期刊名称、主办单位、影响因
子、ISSN/CN 号、以及历届收录详情等高价值学术元数据的完整闭环采集。
3.高并发流式采集架构与高可用保障：
采用 Asyncio + Aiohttp 异步协程架构，将本地 Node. js 签名服务封装为内部高性能 RPC 接
口，实现秒级高吞吐的请求签名派发。
【项目成果】
项目成功上线并稳定运行，成功突破维普网瑞数 6 代防御，以纯协议高并发流完美采集了该平
台全部二级分类下万级的期刊基本信息及详情数据，数据解析准确率达 98% 以上，整体采集速
度相比自动化测试工具提升了 10 倍以上，为团队提供了高价值的学术元数据支撑。
【项目背景】
学术期刊与文献元数据在科研分析、学科建设评价中具备极高的商业与应用价值。本项目旨在
完整提取维普期刊平台的结构化目录与详情数据。然而，目标网站部署了行业顶级的瑞数 6 代
动态安全防护系统，通过深度代码混淆、两次 412页面拦截、极其严苛的浏览器环境（BOM/D
OM）检测以及动态生成的 Cookie和动态后缀参数，全面封杀传统爬虫方案。为保障业务数据
的完整性与时效性，立项攻克瑞数 6 本地化运行环境还原，并构建企业级的大规模高并发数据
采集系统。
【项目介绍】
作为项目独立负责人，完成了从底层高难度反爬技术攻坚到上层分布式高并发采集架构的完整
搭建：
1.瑞数 6 代全链路逆向攻坚：
深入剖析瑞数系统的执行流程，厘清其首次请求返回 412状态码、第二层外壳 JS 动态解密、
以及加载长文本混淆代码（由三个关键 JS 节点组合而成）的运行机制。通过解密其自有的特殊
虚拟指令集，成功梳理出其核心 Cookie 签名的计算时机。
2.基于 Node. js 的浏览器沙箱环境（补环境）搭建：
为了摆脱笨重且低效的自动化工具（Selenium），采用纯协议流 + 本地 Node. js 补环境方
案。针对瑞数 6 代对浏览器特征的严苛审计，利用 JavaScr ipt 拦截技术（Proxy 代理拦截）
进行多维度的环境特征探针测定，完美补全了包括 window、document、locat ion、navig
at ion、screen以及 Canvas、时钟指纹在内的 100+ 个 DOM/BOM 核心环境变量，成功在本
地纯算法端无缝生成合法的瑞数 Cookie。
3.二级分类与期刊元数据精准采集：
针对维普网特殊的分类架构，设计了基于深度优先搜索（DFS）的分布式爬取逻辑。从一级大
类深入到二级细分领域（如：计算机科学、物联网工程等），实现期刊名称、主办单位、影响因
子、ISSN/CN 号、以及历届收录详情等高价值学术元数据的完整闭环采集。
3.高并发流式采集架构与高可用保障：
采用 Asyncio + Aiohttp 异步协程架构，将本地 Node. js 签名服务封装为内部高性能 RPC 接
口，实现秒级高吞吐的请求签名派发。
【项目成果】
项目成功上线并稳定运行，成功突破维普网瑞数 6 代防御，以纯协议高并发流完美采集了该平
台全部二级分类下万级的期刊基本信息及详情数据，数据解析准确率达 98% 以上，整体采集速
度相比自动化测试工具提升了 10 倍以上，为团队提供了高价值的学术元数据支撑。
立即沟通
