读书人

高级python开发工程师
百度 · 10年经验
读书人
日薪: ¥800/8h
地点: 北京 海淀
时间: 下班后周六周日可工作日远程
有团队 · 可整包 ID:410685 复制

0
接单数
0
评价数
1
收藏数

AI 技能提取 | 分布式 Python Redis MySQL MongoDB Webpack 高并发 Docker Selenium Linux
1. 核心优势: 拥有 10 年 Python 全栈爬虫开发经验,专注于高并发分布式采集与复杂反爬攻防。具备从数据采集、清洗、存储到可视化的全流程独立交付能力。代码风格严谨,注重脚本的长期稳定性与维护性,拒绝“一次性”代码。

2. 逆向与对抗能力: 精通 JS 逆向工程,熟练掌握 Chrome 开发者工具,能够处理 Webpack 打包、参数加密、指纹验证等复杂场景;熟悉 APP 逆向,熟练使用 Frida、Xposed 等 Hook 框架进行协议分析与脱壳;具备丰富的验证码对抗经验(滑块、点选、计算等),熟练搭建 IP 代理池与指纹浏览器环境,有效规避风控检测。

3. 技术栈与框架:

语言与框架: 精通 Python,熟练使用 Scrapy、Scrapy-Redis 分布式架构;熟悉 Selenium、Playwright 以及新兴的 DrissionPage 自动化工具,可根据业务场景灵活选择“协议流”或“渲染流”。

数据存储: 精通 MySQL、MongoDB、Redis 等数据库的调优与入库去重。

部署运维: 熟悉 Docker 容器化部署,熟悉 Linux 环境与定时任务调度(Crawlab/Airflow),确保采集任务 7x24 小时稳定运行。

4. 业务经验: 长期承接电商(价格监控/竞品分析)、社交媒体(舆情/评论)、金融(股票/行情)及各类公开政企数据的采集需求。

项目名称:多源金融市场实时行情聚合与分析平台

项目描述: 为量化交易团队开发的金融数据中台,负责从国内外多个证券交易所及三方财经网站获取实时行情数据、财报公告及新闻资讯。项目要求极高的数据实时性与准确性,且需应对不同数据源的格式差异。

我的职责与技术方案:

实时流处理: 摒弃传统的 HTTP 轮询,采用 WebSocket 协议直连交易所数据源,实现毫秒级行情推送。使用 Python 的 asyncio 异步框架处理高并发推送数据,确保在行情剧烈波动时不丢包、不延迟。

ETL 数据清洗: 针对股票、期货等不同标的数据,编写复杂的 Pandas 清洗脚本,处理缺失值、异常值,并将不同来源的数据统一标准化为时间序列格式,存入 ClickHouse/TimeScaleDB 时序数据库。

公告监控: 利用 Python 编写定向爬虫,7x24 小时监控指定上市公司的公告发布,结合关键词提取技术,第一时间将重大利好/利空消息推送至用户端(如企业微信/钉钉)。

稳定性保障: 设计了断线重连与主备切换机制,当主数据源异常时,系统可毫秒级切换至备用数据源,确保服务高可用。

项目成果: 实现了全市场 5000+ 支标的秒级监控,数据清洗准确率 99.9%,为交易策略提供了坚实的数据底座。

整包服务: 微信公众号开发微信小程序开发PC网站开发H5网站开发App开发WebApp开发文档原型图UI设计游戏类开发智能硬件开发运维类开发DBA开发其他开发
负责人: 高级python开发工程师
团队成员: 产品经理 UI设计师 iOS工程师 安卓工程师 前端工程师 后端工程师 
读书人 ID:410685 复制

读书人

有团队 · 可整包
高级python开发工程师 · 10年经验 · 百度
城市北京 海淀 日薪800元/8h 时间 下班后周六周日可工作日远程
0
累计接单
0
用户评价
1
被收藏

信用行为

0
接单数
0
评价数
1
收藏数

技术能力

AI 技能提取 | 分布式 Python Redis MySQL MongoDB Webpack 高并发 Docker Selenium Linux
1. 核心优势: 拥有 10 年 Python 全栈爬虫开发经验,专注于高并发分布式采集与复杂反爬攻防。具备从数据采集、清洗、存储到可视化的全流程独立交付能力。代码风格严谨,注重脚本的长期稳定性与维护性,拒绝“一次性”代码。

2. 逆向与对抗能力: 精通 JS 逆向工程,熟练掌握 Chrome 开发者工具,能够处理 Webpack 打包、参数加密、指纹验证等复杂场景;熟悉 APP 逆向,熟练使用 Frida、Xposed 等 Hook 框架进行协议分析与脱壳;具备丰富的验证码对抗经验(滑块、点选、计算等),熟练搭建 IP 代理池与指纹浏览器环境,有效规避风控检测。

3. 技术栈与框架:

语言与框架: 精通 Python,熟练使用 Scrapy、Scrapy-Redis 分布式架构;熟悉 Selenium、Playwright 以及新兴的 DrissionPage 自动化工具,可根据业务场景灵活选择“协议流”或“渲染流”。

数据存储: 精通 MySQL、MongoDB、Redis 等数据库的调优与入库去重。

部署运维: 熟悉 Docker 容器化部署,熟悉 Linux 环境与定时任务调度(Crawlab/Airflow),确保采集任务 7x24 小时稳定运行。

4. 业务经验: 长期承接电商(价格监控/竞品分析)、社交媒体(舆情/评论)、金融(股票/行情)及各类公开政企数据的采集需求。

项目经验

项目名称:多源金融市场实时行情聚合与分析平台

项目描述: 为量化交易团队开发的金融数据中台,负责从国内外多个证券交易所及三方财经网站获取实时行情数据、财报公告及新闻资讯。项目要求极高的数据实时性与准确性,且需应对不同数据源的格式差异。

我的职责与技术方案:

实时流处理: 摒弃传统的 HTTP 轮询,采用 WebSocket 协议直连交易所数据源,实现毫秒级行情推送。使用 Python 的 asyncio 异步框架处理高并发推送数据,确保在行情剧烈波动时不丢包、不延迟。

ETL 数据清洗: 针对股票、期货等不同标的数据,编写复杂的 Pandas 清洗脚本,处理缺失值、异常值,并将不同来源的数据统一标准化为时间序列格式,存入 ClickHouse/TimeScaleDB 时序数据库。

公告监控: 利用 Python 编写定向爬虫,7x24 小时监控指定上市公司的公告发布,结合关键词提取技术,第一时间将重大利好/利空消息推送至用户端(如企业微信/钉钉)。

稳定性保障: 设计了断线重连与主备切换机制,当主数据源异常时,系统可毫秒级切换至备用数据源,确保服务高可用。

项目成果: 实现了全市场 5000+ 支标的秒级监控,数据清洗准确率 99.9%,为交易策略提供了坚实的数据底座。

团队情况

服务范围:
微信公众号开发微信小程序开发PC网站开发H5网站开发App开发WebApp开发文档原型图UI设计游戏类开发智能硬件开发运维类开发DBA开发其他开发
团队构成:
负责人(高级python开发工程师) | 核心队员:产品经理 · UI设计师 · iOS工程师 · 安卓工程师 · 前端工程师 · 后端工程师
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏