DawnBreaker🔥
Python爬虫工程师
个人 · 5年经验
日薪：
￥500/8h
地点：
北京 石景山
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
1
收藏数
技术能力
具备 **5年+** 大规模数据采集与反反爬对抗经验，专注于 **高并发、分布式爬虫架构** 与 **数据自动化处理**。核心技术能力包括：
#### **1. 爬虫框架与数据采集**
- 精通 **Scrapy、Requests、aiohttp、Playwright** 等爬虫框架，熟练处理 **动态渲染（JS/AJAX）** 和 **SPA（单页应用）** 数据抓取
- 开发过 **千万级数据** 的分布式爬虫系统，支持 **增量爬取、断点续爬、自动去重**
- 熟练使用 **Selenium、Pyppeteer、Playwright** 进行浏览器自动化，处理复杂交互（登录、验证码、滑块等）
#### **2. 反反爬策略与对抗**
- 深入分析 **WAF（Cloudflare/Akamai）**、**IP封禁**、**行为检测（鼠标轨迹、指纹识别）** 等反爬机制
- 熟练使用 **代理IP（住宅/数据中心/轮换）**、**User-Agent 池**、**请求频率控制** 绕过反爬
- 破解 **WebSocket 加密**、**API 签名（X-Sign/X-Token）**、**OAuth2.0 认证** 等加密请求
#### **3. 数据存储与清洗**
- 熟练使用 **MySQL、MongoDB、Redis、Elasticsearch** 存储结构化/非结构化数据
- 开发 **ETL 数据清洗** 流程，处理 **HTML/JSON/XML** 解析，支持 **XPath、CSS Selector、正则表达式**
- 优化 **数据去重（Bloom Filter、SimHash）** 和 **增量更新** 策略
#### **4. 分布式与高性能优化**
- 基于 **Scrapy-Redis、Celery、Kafka** 构建分布式爬虫集群，支持 **多机协同爬取**
- 使用 **异步IO（asyncio）** 提升爬取效率，优化 **协程池、连接复用** 降低资源消耗
- 设计 **任务调度系统**，支持 **动态优先级调整、失败重试、自动告警**
#### **5. 数据分析与可视化**
- 结合 **Pan
#### **1. 爬虫框架与数据采集**
- 精通 **Scrapy、Requests、aiohttp、Playwright** 等爬虫框架，熟练处理 **动态渲染（JS/AJAX）** 和 **SPA（单页应用）** 数据抓取
- 开发过 **千万级数据** 的分布式爬虫系统，支持 **增量爬取、断点续爬、自动去重**
- 熟练使用 **Selenium、Pyppeteer、Playwright** 进行浏览器自动化，处理复杂交互（登录、验证码、滑块等）
#### **2. 反反爬策略与对抗**
- 深入分析 **WAF（Cloudflare/Akamai）**、**IP封禁**、**行为检测（鼠标轨迹、指纹识别）** 等反爬机制
- 熟练使用 **代理IP（住宅/数据中心/轮换）**、**User-Agent 池**、**请求频率控制** 绕过反爬
- 破解 **WebSocket 加密**、**API 签名（X-Sign/X-Token）**、**OAuth2.0 认证** 等加密请求
#### **3. 数据存储与清洗**
- 熟练使用 **MySQL、MongoDB、Redis、Elasticsearch** 存储结构化/非结构化数据
- 开发 **ETL 数据清洗** 流程，处理 **HTML/JSON/XML** 解析，支持 **XPath、CSS Selector、正则表达式**
- 优化 **数据去重（Bloom Filter、SimHash）** 和 **增量更新** 策略
#### **4. 分布式与高性能优化**
- 基于 **Scrapy-Redis、Celery、Kafka** 构建分布式爬虫集群，支持 **多机协同爬取**
- 使用 **异步IO（asyncio）** 提升爬取效率，优化 **协程池、连接复用** 降低资源消耗
- 设计 **任务调度系统**，支持 **动态优先级调整、失败重试、自动告警**
#### **5. 数据分析与可视化**
- 结合 **Pan
项目经验
### **车险相关保司（人保/太保/平安/人寿/华泰）技术项目经验**
作为**资深Python爬虫与数据分析工程师**，曾主导多个车险行业数据采集与分析项目，涉及**人保、太保、平安、人寿、华泰**等头部保险公司，技术能力涵盖：
#### **1. 车险数据智能采集系统**
- 开发**高并发分布式爬虫**，自动化采集**人保、平安、太保**等官网的车险报价数据，支持**动态渲染（JS加密）**和**API逆向**，日均处理**100万+**请求
- 破解**华泰车险API签名（X-Sign/AES加密）**，实现**实时保费计算**数据抓取
- 设计**IP代理池+请求指纹伪装**方案，绕过**Cloudflare反爬**，确保数据稳定采集
#### **2. 车险比价引擎（数据分析）**
- 基于**Pandas+PySpark**清洗**多保司（人寿/太保/平安）**的车险历史数据，构建**保费预测模型**（线性回归/XGBoost）
- 开发**自动化比价系统**，实时对比**不同保司的NCD系数、优惠策略**，输出最优投保方案
- 使用**Matplotlib+Pyecharts**可视化分析**车险出险率、理赔时效**，辅助业务决策
#### **3. 车险OCR智能录入系统**
- 集成**Tesseract+PaddleOCR**，自动识别**人保/平安**的保单PDF/图片，结构化存储至MySQL
- 优化OCR识别算法，针对**华泰车险特殊保单格式**，准确率提升至**98%+**
#### **4. 车险反欺诈风控模型**
- 基于**平安/人保**历史理赔数据，训练**LSTM异常检测模型**，识别**骗保行为**（F1 Score 0.92）
- 开发**规则引擎（Drools）**，实时检测**高风险投保行为**（如频繁更换被保险人）
#### **5. 分布式数据存储方案**
- 采用**MongoDB分片集群**存储**太保/人寿**的车险交易流水，支持**亿级数据**高效查询
- 使用**Elasticsearch**构建**车险保单搜索引擎**，实现毫秒级响应
**技术栈**：Python（Scrapy/Requests）、Selenium/Playwright、MySQL/MongoDB/ES、Pandas/Spark、OCR（Tesseract/Paddle）、机器学习（Sklearn/TensorFlow）
具备**车险行业全链路数据解决方案**经验，从**数据采集→清洗→分析→可视化→风控**，助力保司优化定价策略与风控体系。
作为**资深Python爬虫与数据分析工程师**，曾主导多个车险行业数据采集与分析项目，涉及**人保、太保、平安、人寿、华泰**等头部保险公司，技术能力涵盖：
#### **1. 车险数据智能采集系统**
- 开发**高并发分布式爬虫**，自动化采集**人保、平安、太保**等官网的车险报价数据，支持**动态渲染（JS加密）**和**API逆向**，日均处理**100万+**请求
- 破解**华泰车险API签名（X-Sign/AES加密）**，实现**实时保费计算**数据抓取
- 设计**IP代理池+请求指纹伪装**方案，绕过**Cloudflare反爬**，确保数据稳定采集
#### **2. 车险比价引擎（数据分析）**
- 基于**Pandas+PySpark**清洗**多保司（人寿/太保/平安）**的车险历史数据，构建**保费预测模型**（线性回归/XGBoost）
- 开发**自动化比价系统**，实时对比**不同保司的NCD系数、优惠策略**，输出最优投保方案
- 使用**Matplotlib+Pyecharts**可视化分析**车险出险率、理赔时效**，辅助业务决策
#### **3. 车险OCR智能录入系统**
- 集成**Tesseract+PaddleOCR**，自动识别**人保/平安**的保单PDF/图片，结构化存储至MySQL
- 优化OCR识别算法，针对**华泰车险特殊保单格式**，准确率提升至**98%+**
#### **4. 车险反欺诈风控模型**
- 基于**平安/人保**历史理赔数据，训练**LSTM异常检测模型**，识别**骗保行为**（F1 Score 0.92）
- 开发**规则引擎（Drools）**，实时检测**高风险投保行为**（如频繁更换被保险人）
#### **5. 分布式数据存储方案**
- 采用**MongoDB分片集群**存储**太保/人寿**的车险交易流水，支持**亿级数据**高效查询
- 使用**Elasticsearch**构建**车险保单搜索引擎**，实现毫秒级响应
**技术栈**：Python（Scrapy/Requests）、Selenium/Playwright、MySQL/MongoDB/ES、Pandas/Spark、OCR（Tesseract/Paddle）、机器学习（Sklearn/TensorFlow）
具备**车险行业全链路数据解决方案**经验，从**数据采集→清洗→分析→可视化→风控**，助力保司优化定价策略与风控体系。
DawnBreaker🔥
Python爬虫工程师 · 5年经验 · 个人
0
累计接单
0
用户评价
1
被收藏
信用行为
0
接单数
0
评价数
1
收藏数
技术能力
具备 **5年+** 大规模数据采集与反反爬对抗经验，专注于 **高并发、分布式爬虫架构** 与 **数据自动化处理**。核心技术能力包括：
#### **1. 爬虫框架与数据采集**
- 精通 **Scrapy、Requests、aiohttp、Playwright** 等爬虫框架，熟练处理 **动态渲染（JS/AJAX）** 和 **SPA（单页应用）** 数据抓取
- 开发过 **千万级数据** 的分布式爬虫系统，支持 **增量爬取、断点续爬、自动去重**
- 熟练使用 **Selenium、Pyppeteer、Playwright** 进行浏览器自动化，处理复杂交互（登录、验证码、滑块等）
#### **2. 反反爬策略与对抗**
- 深入分析 **WAF（Cloudflare/Akamai）**、**IP封禁**、**行为检测（鼠标轨迹、指纹识别）** 等反爬机制
- 熟练使用 **代理IP（住宅/数据中心/轮换）**、**User-Agent 池**、**请求频率控制** 绕过反爬
- 破解 **WebSocket 加密**、**API 签名（X-Sign/X-Token）**、**OAuth2.0 认证** 等加密请求
#### **3. 数据存储与清洗**
- 熟练使用 **MySQL、MongoDB、Redis、Elasticsearch** 存储结构化/非结构化数据
- 开发 **ETL 数据清洗** 流程，处理 **HTML/JSON/XML** 解析，支持 **XPath、CSS Selector、正则表达式**
- 优化 **数据去重（Bloom Filter、SimHash）** 和 **增量更新** 策略
#### **4. 分布式与高性能优化**
- 基于 **Scrapy-Redis、Celery、Kafka** 构建分布式爬虫集群，支持 **多机协同爬取**
- 使用 **异步IO（asyncio）** 提升爬取效率，优化 **协程池、连接复用** 降低资源消耗
- 设计 **任务调度系统**，支持 **动态优先级调整、失败重试、自动告警**
#### **5. 数据分析与可视化**
- 结合 **Pan
#### **1. 爬虫框架与数据采集**
- 精通 **Scrapy、Requests、aiohttp、Playwright** 等爬虫框架，熟练处理 **动态渲染（JS/AJAX）** 和 **SPA（单页应用）** 数据抓取
- 开发过 **千万级数据** 的分布式爬虫系统，支持 **增量爬取、断点续爬、自动去重**
- 熟练使用 **Selenium、Pyppeteer、Playwright** 进行浏览器自动化，处理复杂交互（登录、验证码、滑块等）
#### **2. 反反爬策略与对抗**
- 深入分析 **WAF（Cloudflare/Akamai）**、**IP封禁**、**行为检测（鼠标轨迹、指纹识别）** 等反爬机制
- 熟练使用 **代理IP（住宅/数据中心/轮换）**、**User-Agent 池**、**请求频率控制** 绕过反爬
- 破解 **WebSocket 加密**、**API 签名（X-Sign/X-Token）**、**OAuth2.0 认证** 等加密请求
#### **3. 数据存储与清洗**
- 熟练使用 **MySQL、MongoDB、Redis、Elasticsearch** 存储结构化/非结构化数据
- 开发 **ETL 数据清洗** 流程，处理 **HTML/JSON/XML** 解析，支持 **XPath、CSS Selector、正则表达式**
- 优化 **数据去重（Bloom Filter、SimHash）** 和 **增量更新** 策略
#### **4. 分布式与高性能优化**
- 基于 **Scrapy-Redis、Celery、Kafka** 构建分布式爬虫集群，支持 **多机协同爬取**
- 使用 **异步IO（asyncio）** 提升爬取效率，优化 **协程池、连接复用** 降低资源消耗
- 设计 **任务调度系统**，支持 **动态优先级调整、失败重试、自动告警**
#### **5. 数据分析与可视化**
- 结合 **Pan
项目经验
### **车险相关保司（人保/太保/平安/人寿/华泰）技术项目经验**
作为**资深Python爬虫与数据分析工程师**，曾主导多个车险行业数据采集与分析项目，涉及**人保、太保、平安、人寿、华泰**等头部保险公司，技术能力涵盖：
#### **1. 车险数据智能采集系统**
- 开发**高并发分布式爬虫**，自动化采集**人保、平安、太保**等官网的车险报价数据，支持**动态渲染（JS加密）**和**API逆向**，日均处理**100万+**请求
- 破解**华泰车险API签名（X-Sign/AES加密）**，实现**实时保费计算**数据抓取
- 设计**IP代理池+请求指纹伪装**方案，绕过**Cloudflare反爬**，确保数据稳定采集
#### **2. 车险比价引擎（数据分析）**
- 基于**Pandas+PySpark**清洗**多保司（人寿/太保/平安）**的车险历史数据，构建**保费预测模型**（线性回归/XGBoost）
- 开发**自动化比价系统**，实时对比**不同保司的NCD系数、优惠策略**，输出最优投保方案
- 使用**Matplotlib+Pyecharts**可视化分析**车险出险率、理赔时效**，辅助业务决策
#### **3. 车险OCR智能录入系统**
- 集成**Tesseract+PaddleOCR**，自动识别**人保/平安**的保单PDF/图片，结构化存储至MySQL
- 优化OCR识别算法，针对**华泰车险特殊保单格式**，准确率提升至**98%+**
#### **4. 车险反欺诈风控模型**
- 基于**平安/人保**历史理赔数据，训练**LSTM异常检测模型**，识别**骗保行为**（F1 Score 0.92）
- 开发**规则引擎（Drools）**，实时检测**高风险投保行为**（如频繁更换被保险人）
#### **5. 分布式数据存储方案**
- 采用**MongoDB分片集群**存储**太保/人寿**的车险交易流水，支持**亿级数据**高效查询
- 使用**Elasticsearch**构建**车险保单搜索引擎**，实现毫秒级响应
**技术栈**：Python（Scrapy/Requests）、Selenium/Playwright、MySQL/MongoDB/ES、Pandas/Spark、OCR（Tesseract/Paddle）、机器学习（Sklearn/TensorFlow）
具备**车险行业全链路数据解决方案**经验，从**数据采集→清洗→分析→可视化→风控**，助力保司优化定价策略与风控体系。
作为**资深Python爬虫与数据分析工程师**，曾主导多个车险行业数据采集与分析项目，涉及**人保、太保、平安、人寿、华泰**等头部保险公司，技术能力涵盖：
#### **1. 车险数据智能采集系统**
- 开发**高并发分布式爬虫**，自动化采集**人保、平安、太保**等官网的车险报价数据，支持**动态渲染（JS加密）**和**API逆向**，日均处理**100万+**请求
- 破解**华泰车险API签名（X-Sign/AES加密）**，实现**实时保费计算**数据抓取
- 设计**IP代理池+请求指纹伪装**方案，绕过**Cloudflare反爬**，确保数据稳定采集
#### **2. 车险比价引擎（数据分析）**
- 基于**Pandas+PySpark**清洗**多保司（人寿/太保/平安）**的车险历史数据，构建**保费预测模型**（线性回归/XGBoost）
- 开发**自动化比价系统**，实时对比**不同保司的NCD系数、优惠策略**，输出最优投保方案
- 使用**Matplotlib+Pyecharts**可视化分析**车险出险率、理赔时效**，辅助业务决策
#### **3. 车险OCR智能录入系统**
- 集成**Tesseract+PaddleOCR**，自动识别**人保/平安**的保单PDF/图片，结构化存储至MySQL
- 优化OCR识别算法，针对**华泰车险特殊保单格式**，准确率提升至**98%+**
#### **4. 车险反欺诈风控模型**
- 基于**平安/人保**历史理赔数据，训练**LSTM异常检测模型**，识别**骗保行为**（F1 Score 0.92）
- 开发**规则引擎（Drools）**，实时检测**高风险投保行为**（如频繁更换被保险人）
#### **5. 分布式数据存储方案**
- 采用**MongoDB分片集群**存储**太保/人寿**的车险交易流水，支持**亿级数据**高效查询
- 使用**Elasticsearch**构建**车险保单搜索引擎**，实现毫秒级响应
**技术栈**：Python（Scrapy/Requests）、Selenium/Playwright、MySQL/MongoDB/ES、Pandas/Spark、OCR（Tesseract/Paddle）、机器学习（Sklearn/TensorFlow）
具备**车险行业全链路数据解决方案**经验，从**数据采集→清洗→分析→可视化→风控**，助力保司优化定价策略与风控体系。
立即沟通
