靍
数据开发工程师
墨加数据 · 3年经验
日薪：
￥500/8h
地点：
杭州
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
编程语言：Python(精通)、Java/JavaScript (熟练)、Linux 基础
⚫ 采集框架：scrapy、scrapy-redis、crawl4ai、Firecrawl
⚫ 逆向与采集：JS 逆向(补环境/Hook/AST 还原)、JSVMP 逆向、算法还原、验证码识别、请求签名破解
⚫ 自动化框架：Selenium、Playwright、DrissionPage
⚫ 部署与运维：Docker、Crawlab
⚫ 数据库：MySQL、MongoDB、Redis、SQLite、ClickHouse
⚫ 数据与后端：Pandas、Superset、Flask、FastAPI、FastMcp、Kafka
⚫ 采集框架：scrapy、scrapy-redis、crawl4ai、Firecrawl
⚫ 逆向与采集：JS 逆向(补环境/Hook/AST 还原)、JSVMP 逆向、算法还原、验证码识别、请求签名破解
⚫ 自动化框架：Selenium、Playwright、DrissionPage
⚫ 部署与运维：Docker、Crawlab
⚫ 数据库：MySQL、MongoDB、Redis、SQLite、ClickHouse
⚫ 数据与后端：Pandas、Superset、Flask、FastAPI、FastMcp、Kafka
项目经验
分布式爬虫架构：主导设计基于 Scrapy 的高可用分布式爬虫集群，沉淀通用中间件(UA 池/代理池/Cookie 池/布隆去
重)+Pipeline 模块化体系，实现多项目(海外商品、旅游 POI、小红书等)模块复用，让多项目并行开发效率直接拉升 40%,数
据采集成功率稳定在 98%以上。
反爬破解与逆向：系统性突破各类反爬机制(字符/滑块验证码、携程 token、小红书 x-s、马蜂窝 wtsfp、Cloudflare
5s 盾),熟练运用补环境、算法还原、TLS 指纹模拟等手段，保障核心采集任务长期稳定运行。
自动化与平台工程：Docker 化部署 Crawlab 爬虫管理平台及 Firecrawl 通用采集框架；基于 DrissionPage 构建跨平
台(头条/知乎/公众号/小红书)内容自动化发布系统，把运营团队从重复劳动中彻底解放，运营效率显著提升。
后端服务与数据处理：开发企业微信机器人多租户管理服务(Flask+多进程/线程),实现消息智能分发；基于 FastMcp
开发 MCP 服务并接入 Dify 平台；利用 Superset 搭建业务数据看板，Pandas 完成 ETL 与数据清洗，为 Al 模型及业务决
策提供高质量数据支持。
重)+Pipeline 模块化体系，实现多项目(海外商品、旅游 POI、小红书等)模块复用，让多项目并行开发效率直接拉升 40%,数
据采集成功率稳定在 98%以上。
反爬破解与逆向：系统性突破各类反爬机制(字符/滑块验证码、携程 token、小红书 x-s、马蜂窝 wtsfp、Cloudflare
5s 盾),熟练运用补环境、算法还原、TLS 指纹模拟等手段，保障核心采集任务长期稳定运行。
自动化与平台工程：Docker 化部署 Crawlab 爬虫管理平台及 Firecrawl 通用采集框架；基于 DrissionPage 构建跨平
台(头条/知乎/公众号/小红书)内容自动化发布系统，把运营团队从重复劳动中彻底解放，运营效率显著提升。
后端服务与数据处理：开发企业微信机器人多租户管理服务(Flask+多进程/线程),实现消息智能分发；基于 FastMcp
开发 MCP 服务并接入 Dify 平台；利用 Superset 搭建业务数据看板，Pandas 完成 ETL 与数据清洗，为 Al 模型及业务决
策提供高质量数据支持。
靍
数据开发工程师 · 3年经验 · 墨加数据
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
编程语言：Python(精通)、Java/JavaScript (熟练)、Linux 基础
⚫ 采集框架：scrapy、scrapy-redis、crawl4ai、Firecrawl
⚫ 逆向与采集：JS 逆向(补环境/Hook/AST 还原)、JSVMP 逆向、算法还原、验证码识别、请求签名破解
⚫ 自动化框架：Selenium、Playwright、DrissionPage
⚫ 部署与运维：Docker、Crawlab
⚫ 数据库：MySQL、MongoDB、Redis、SQLite、ClickHouse
⚫ 数据与后端：Pandas、Superset、Flask、FastAPI、FastMcp、Kafka
⚫ 采集框架：scrapy、scrapy-redis、crawl4ai、Firecrawl
⚫ 逆向与采集：JS 逆向(补环境/Hook/AST 还原)、JSVMP 逆向、算法还原、验证码识别、请求签名破解
⚫ 自动化框架：Selenium、Playwright、DrissionPage
⚫ 部署与运维：Docker、Crawlab
⚫ 数据库：MySQL、MongoDB、Redis、SQLite、ClickHouse
⚫ 数据与后端：Pandas、Superset、Flask、FastAPI、FastMcp、Kafka
项目经验
分布式爬虫架构：主导设计基于 Scrapy 的高可用分布式爬虫集群，沉淀通用中间件(UA 池/代理池/Cookie 池/布隆去
重)+Pipeline 模块化体系，实现多项目(海外商品、旅游 POI、小红书等)模块复用，让多项目并行开发效率直接拉升 40%,数
据采集成功率稳定在 98%以上。
反爬破解与逆向：系统性突破各类反爬机制(字符/滑块验证码、携程 token、小红书 x-s、马蜂窝 wtsfp、Cloudflare
5s 盾),熟练运用补环境、算法还原、TLS 指纹模拟等手段，保障核心采集任务长期稳定运行。
自动化与平台工程：Docker 化部署 Crawlab 爬虫管理平台及 Firecrawl 通用采集框架；基于 DrissionPage 构建跨平
台(头条/知乎/公众号/小红书)内容自动化发布系统，把运营团队从重复劳动中彻底解放，运营效率显著提升。
后端服务与数据处理：开发企业微信机器人多租户管理服务(Flask+多进程/线程),实现消息智能分发；基于 FastMcp
开发 MCP 服务并接入 Dify 平台；利用 Superset 搭建业务数据看板，Pandas 完成 ETL 与数据清洗，为 Al 模型及业务决
策提供高质量数据支持。
重)+Pipeline 模块化体系，实现多项目(海外商品、旅游 POI、小红书等)模块复用，让多项目并行开发效率直接拉升 40%,数
据采集成功率稳定在 98%以上。
反爬破解与逆向：系统性突破各类反爬机制(字符/滑块验证码、携程 token、小红书 x-s、马蜂窝 wtsfp、Cloudflare
5s 盾),熟练运用补环境、算法还原、TLS 指纹模拟等手段，保障核心采集任务长期稳定运行。
自动化与平台工程：Docker 化部署 Crawlab 爬虫管理平台及 Firecrawl 通用采集框架；基于 DrissionPage 构建跨平
台(头条/知乎/公众号/小红书)内容自动化发布系统，把运营团队从重复劳动中彻底解放，运营效率显著提升。
后端服务与数据处理：开发企业微信机器人多租户管理服务(Flask+多进程/线程),实现消息智能分发；基于 FastMcp
开发 MCP 服务并接入 Dify 平台；利用 Superset 搭建业务数据看板，Pandas 完成 ETL 与数据清洗，为 Al 模型及业务决
策提供高质量数据支持。
案例展示
立即沟通
相似人才推荐：
其他高级工程师前后端 (西安鼎盛科技) ，9年经验 ，600元/天
杭州全栈工程师 (兴信纺织有限公司) ，4年经验 ，500元/天
深圳算法工程师 (深圳天顿数据科技有限公司) ，3年经验 ，500元/天
其他Java 负责人/Agent 开发工程师 (北京原力波科技有限公司) ，10年经验 ，500元/天
杭州AI协作开发与数字内容制作 (无任职经历（AI协作服务）) ，1年经验 ，500元/天
宁波ai工程师、FDE工程师、安全服务工程师 (鹏信) ，1年经验 ，500元/天
上海应用开发工程师 (汇川技术) ，3年经验 ，500元/天
北京算法工程师 (上海人工智能实验室) ，1年经验 ，500元/天
