猿急送>

北京Python兼职程序员

ID：397685

DawnBreaker🔥

Python爬虫工程师

公司信息：
个人

工作经验：
5年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
石景山

技术能力

具备 **5年+** 大规模数据采集与反反爬对抗经验，专注于 **高并发、分布式爬虫架构** 与 **数据自动化处理**。核心技术能力包括：

#### **1. 爬虫框架与数据采集**
- 精通 **Scrapy、Requests、aiohttp、Playwright** 等爬虫框架，熟练处理 **动态渲染（JS/AJAX）** 和 **SPA（单页应用）** 数据抓取
- 开发过 **千万级数据** 的分布式爬虫系统，支持 **增量爬取、断点续爬、自动去重**
- 熟练使用 **Selenium、Pyppeteer、Playwright** 进行浏览器自动化，处理复杂交互（登录、验证码、滑块等）

#### **2. 反反爬策略与对抗**
- 深入分析 **WAF（Cloudflare/Akamai）**、**IP封禁**、**行为检测（鼠标轨迹、指纹识别）** 等反爬机制
- 熟练使用 **代理IP（住宅/数据中心/轮换）**、**User-Agent 池**、**请求频率控制** 绕过反爬
- 破解 **WebSocket 加密**、**API 签名（X-Sign/X-Token）**、**OAuth2.0 认证** 等加密请求

#### **3. 数据存储与清洗**
- 熟练使用 **MySQL、MongoDB、Redis、Elasticsearch** 存储结构化/非结构化数据
- 开发 **ETL 数据清洗** 流程，处理 **HTML/JSON/XML** 解析，支持 **XPath、CSS Selector、正则表达式**
- 优化 **数据去重（Bloom Filter、SimHash）** 和 **增量更新** 策略

#### **4. 分布式与高性能优化**
- 基于 **Scrapy-Redis、Celery、Kafka** 构建分布式爬虫集群，支持 **多机协同爬取**
- 使用 **异步IO（asyncio）** 提升爬取效率，优化 **协程池、连接复用** 降低资源消耗
- 设计 **任务调度系统**，支持 **动态优先级调整、失败重试、自动告警**

#### **5. 数据分析与可视化**
- 结合 **Pan

项目经验

### **车险相关保司（人保/太保/平安/人寿/华泰）技术项目经验**

作为**资深Python爬虫与数据分析工程师**，曾主导多个车险行业数据采集与分析项目，涉及**人保、太保、平安、人寿、华泰**等头部保险公司，技术能力涵盖：

#### **1. 车险数据智能采集系统**
- 开发**高并发分布式爬虫**，自动化采集**人保、平安、太保**等官网的车险报价数据，支持**动态渲染（JS加密）**和**API逆向**，日均处理**100万+**请求
- 破解**华泰车险API签名（X-Sign/AES加密）**，实现**实时保费计算**数据抓取
- 设计**IP代理池+请求指纹伪装**方案，绕过**Cloudflare反爬**，确保数据稳定采集

#### **2. 车险比价引擎（数据分析）**
- 基于**Pandas+PySpark**清洗**多保司（人寿/太保/平安）**的车险历史数据，构建**保费预测模型**（线性回归/XGBoost）
- 开发**自动化比价系统**，实时对比**不同保司的NCD系数、优惠策略**，输出最优投保方案
- 使用**Matplotlib+Pyecharts**可视化分析**车险出险率、理赔时效**，辅助业务决策

#### **3. 车险OCR智能录入系统**
- 集成**Tesseract+PaddleOCR**，自动识别**人保/平安**的保单PDF/图片，结构化存储至MySQL
- 优化OCR识别算法，针对**华泰车险特殊保单格式**，准确率提升至**98%+**

#### **4. 车险反欺诈风控模型**
- 基于**平安/人保**历史理赔数据，训练**LSTM异常检测模型**，识别**骗保行为**（F1 Score 0.92）
- 开发**规则引擎（Drools）**，实时检测**高风险投保行为**（如频繁更换被保险人）

#### **5. 分布式数据存储方案**
- 采用**MongoDB分片集群**存储**太保/人寿**的车险交易流水，支持**亿级数据**高效查询
- 使用**Elasticsearch**构建**车险保单搜索引擎**，实现毫秒级响应

**技术栈**：Python（Scrapy/Requests）、Selenium/Playwright、MySQL/MongoDB/ES、Pandas/Spark、OCR（Tesseract/Paddle）、机器学习（Sklearn/TensorFlow）

具备**车险行业全链路数据解决方案**经验，从**数据采集→清洗→分析→可视化→风控**，助力保司优化定价策略与风控体系。