技术能力

1. 核心优势： 拥有 10 年 Python 全栈爬虫开发经验，专注于高并发分布式采集与复杂反爬攻防。具备从数据采集、清洗、存储到可视化的全流程独立交付能力。代码风格严谨，注重脚本的长期稳定性与维护性，拒绝“一次性”代码。

2. 逆向与对抗能力： 精通 JS 逆向工程，熟练掌握 Chrome 开发者工具，能够处理 Webpack 打包、参数加密、指纹验证等复杂场景；熟悉 APP 逆向，熟练使用 Frida、Xposed 等 Hook 框架进行协议分析与脱壳；具备丰富的验证码对抗经验（滑块、点选、计算等），熟练搭建 IP 代理池与指纹浏览器环境，有效规避风控检测。

3. 技术栈与框架：

语言与框架： 精通 Python，熟练使用 Scrapy、Scrapy-Redis 分布式架构；熟悉 Selenium、Playwright 以及新兴的 DrissionPage 自动化工具，可根据业务场景灵活选择“协议流”或“渲染流”。

数据存储： 精通 MySQL、MongoDB、Redis 等数据库的调优与入库去重。

部署运维： 熟悉 Docker 容器化部署，熟悉 Linux 环境与定时任务调度（Crawlab/Airflow），确保采集任务 7x24 小时稳定运行。

4. 业务经验： 长期承接电商（价格监控/竞品分析）、社交媒体（舆情/评论）、金融（股票/行情）及各类公开政企数据的采集需求。

项目经验

项目名称：多源金融市场实时行情聚合与分析平台

项目描述： 为量化交易团队开发的金融数据中台，负责从国内外多个证券交易所及三方财经网站获取实时行情数据、财报公告及新闻资讯。项目要求极高的数据实时性与准确性，且需应对不同数据源的格式差异。

我的职责与技术方案：

实时流处理： 摒弃传统的 HTTP 轮询，采用 WebSocket 协议直连交易所数据源，实现毫秒级行情推送。使用 Python 的 asyncio 异步框架处理高并发推送数据，确保在行情剧烈波动时不丢包、不延迟。

ETL 数据清洗： 针对股票、期货等不同标的数据，编写复杂的 Pandas 清洗脚本，处理缺失值、异常值，并将不同来源的数据统一标准化为时间序列格式，存入 ClickHouse/TimeScaleDB 时序数据库。

公告监控： 利用 Python 编写定向爬虫，7x24 小时监控指定上市公司的公告发布，结合关键词提取技术，第一时间将重大利好/利空消息推送至用户端（如企业微信/钉钉）。

稳定性保障： 设计了断线重连与主备切换机制，当主数据源异常时，系统可毫秒级切换至备用数据源，确保服务高可用。

项目成果： 实现了全市场 5000+ 支标的秒级监控，数据清洗准确率 99.9%，为交易策略提供了坚实的数据底座。

团队情况