Leo洽

高级BI系统开发工程师
大宇无限 · 9年经验
Leo洽
日薪: ¥1300/8h
地点: 深圳 南山
时间: 可工作日远程可工作日驻场(自由职业原因)
ID:409587 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Java Flask Python 高并发 分布式 Kafka MySQL Redis Apache Hadoop Spark Flink
1. 熟练使用 Python,熟悉 Flask、SQLAlchemy、Pandas、Celery 等框架;
2. 精通 Java 及常用框架,熟悉 JVM 原理与调优;
3. 熟悉分布式、高并发、高可用系统设计与优化,具备多线程、缓存、消息队列实战经验;
4. 熟悉 MySQL、Redis、Kafka等中间件与数据存储方案;
5. 熟悉 AWS 云服务(S3、Athena、Glue、EMR)及相关大数据组件;
6. 具备数据平台、BI工具Apache Superset深度二次开发与优化经验;
7. 了解 Hadoop、Flink、Trino、Spark等大数据与 OLAP 技术栈;
8. 可独立完成 ETL 脚本编写与数据处理任务。

2022.05-2025.05
职责:
基于Apache Superset做深度定制化二次开发,核心模块设计与开发、查询性能优化、平台稳定性建设。
成果与亮点:
系统架构与核心功能:
○ 主导平台从0到1的搭建与迭代,深度定制化开发Apache Superset;
○ 主导开发了留存分析、用户分群、日志采集、埋点字段管理的等核心业务模块;
○ 成功支持业务方创建6000+ 有效数据图表,直接赋能业务决策。
性能优化:
○ 通过实施查询缓存机制、SQL谓词下推、Celery任务队列隔离、Trino查询复用等多项优化,将平台P90查询耗时降低20%,用户队列等待时间降低80%;
○ 将平台查询成功率从80%提升至98%,极大提升了用户体验和平台可靠性。
成本与稳定性:
○ 通过资源调度优化和查询逻辑改进,将平台日均查询成本降低 $700/d。
○ 构建了完善的监控告警体系,保障了平台 99.9% 的稳定性。

2023.02—2023.08
职责:
埋点日志接入服务架构设计、核心开发、全链路迁移与数据保障。
成果与亮点:
高并发处理:
○ 主导设计并实现了高可用、高并发、实时处理的日志接收服务;
○ 成功完成14个核心项目的无感知全流量迁移;
○ 平稳支撑高峰期55K+ QPS与600K+ TPS的流量冲击。
数据可靠性与性能:
○ 设计了数据兜底与补偿机制,在迁移过程中保障了数据零丢失,服务平均响应时间 <10ms;
○ 优化实时处理链路,将日志处理延时从分钟级优化至秒级,峰值时期延时从数小时降低至5分钟;
○ 提供实时、多维度条件过滤的埋点日志的调试测试工具,帮助业务方减少错误和无效日志90%。
成本与稳定性:
○ 完美兼容神策SDK上报协议,实现配置化接入,使新项目接入效率提升80%。
○ 通过自建链路,相比采购神策服务,每年为公司节约成本百万/年。
Leo洽 ID:409587 复制

Leo洽

高级BI系统开发工程师 · 9年经验 · 大宇无限
城市深圳 南山 日薪1300元/8h 时间 可工作日远程可工作日驻场(自由职业原因)
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Java Flask Python 高并发 分布式 Kafka MySQL Redis Apache Hadoop Spark Flink
1. 熟练使用 Python,熟悉 Flask、SQLAlchemy、Pandas、Celery 等框架;
2. 精通 Java 及常用框架,熟悉 JVM 原理与调优;
3. 熟悉分布式、高并发、高可用系统设计与优化,具备多线程、缓存、消息队列实战经验;
4. 熟悉 MySQL、Redis、Kafka等中间件与数据存储方案;
5. 熟悉 AWS 云服务(S3、Athena、Glue、EMR)及相关大数据组件;
6. 具备数据平台、BI工具Apache Superset深度二次开发与优化经验;
7. 了解 Hadoop、Flink、Trino、Spark等大数据与 OLAP 技术栈;
8. 可独立完成 ETL 脚本编写与数据处理任务。

项目经验

2022.05-2025.05
职责:
基于Apache Superset做深度定制化二次开发,核心模块设计与开发、查询性能优化、平台稳定性建设。
成果与亮点:
系统架构与核心功能:
○ 主导平台从0到1的搭建与迭代,深度定制化开发Apache Superset;
○ 主导开发了留存分析、用户分群、日志采集、埋点字段管理的等核心业务模块;
○ 成功支持业务方创建6000+ 有效数据图表,直接赋能业务决策。
性能优化:
○ 通过实施查询缓存机制、SQL谓词下推、Celery任务队列隔离、Trino查询复用等多项优化,将平台P90查询耗时降低20%,用户队列等待时间降低80%;
○ 将平台查询成功率从80%提升至98%,极大提升了用户体验和平台可靠性。
成本与稳定性:
○ 通过资源调度优化和查询逻辑改进,将平台日均查询成本降低 $700/d。
○ 构建了完善的监控告警体系,保障了平台 99.9% 的稳定性。

2023.02—2023.08
职责:
埋点日志接入服务架构设计、核心开发、全链路迁移与数据保障。
成果与亮点:
高并发处理:
○ 主导设计并实现了高可用、高并发、实时处理的日志接收服务;
○ 成功完成14个核心项目的无感知全流量迁移;
○ 平稳支撑高峰期55K+ QPS与600K+ TPS的流量冲击。
数据可靠性与性能:
○ 设计了数据兜底与补偿机制,在迁移过程中保障了数据零丢失,服务平均响应时间 <10ms;
○ 优化实时处理链路,将日志处理延时从分钟级优化至秒级,峰值时期延时从数小时降低至5分钟;
○ 提供实时、多维度条件过滤的埋点日志的调试测试工具,帮助业务方减少错误和无效日志90%。
成本与稳定性:
○ 完美兼容神策SDK上报协议,实现配置化接入,使新项目接入效率提升80%。
○ 通过自建链路,相比采购神策服务,每年为公司节约成本百万/年。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏