ID:409587

Leo洽

高级BI系统开发工程师

  • 公司信息:
  • 大宇无限
  • 工作经验:
  • 9年
  • 兼职日薪:
  • 1300元/8小时
  • 兼职时间:
  • 可工作日远程
  • 可工作日驻场(自由职业原因)
  • 所在区域:
  • 深圳
  • 南山

技术能力

1. 熟练使用 Python,熟悉 Flask、SQLAlchemy、Pandas、Celery 等框架;
2. 精通 Java 及常用框架,熟悉 JVM 原理与调优;
3. 熟悉分布式、高并发、高可用系统设计与优化,具备多线程、缓存、消息队列实战经验;
4. 熟悉 MySQL、Redis、Kafka等中间件与数据存储方案;
5. 熟悉 AWS 云服务(S3、Athena、Glue、EMR)及相关大数据组件;
6. 具备数据平台、BI工具Apache Superset深度二次开发与优化经验;
7. 了解 Hadoop、Flink、Trino、Spark等大数据与 OLAP 技术栈;
8. 可独立完成 ETL 脚本编写与数据处理任务。

项目经验

2022.05-2025.05
职责:
基于Apache Superset做深度定制化二次开发,核心模块设计与开发、查询性能优化、平台稳定性建设。
成果与亮点:
系统架构与核心功能:
○ 主导平台从0到1的搭建与迭代,深度定制化开发Apache Superset;
○ 主导开发了留存分析、用户分群、日志采集、埋点字段管理的等核心业务模块;
○ 成功支持业务方创建6000+ 有效数据图表,直接赋能业务决策。
性能优化:
○ 通过实施查询缓存机制、SQL谓词下推、Celery任务队列隔离、Trino查询复用等多项优化,将平台P90查询耗时降低20%,用户队列等待时间降低80%;
○ 将平台查询成功率从80%提升至98%,极大提升了用户体验和平台可靠性。
成本与稳定性:
○ 通过资源调度优化和查询逻辑改进,将平台日均查询成本降低 $700/d。
○ 构建了完善的监控告警体系,保障了平台 99.9% 的稳定性。

2023.02—2023.08
职责:
埋点日志接入服务架构设计、核心开发、全链路迁移与数据保障。
成果与亮点:
高并发处理:
○ 主导设计并实现了高可用、高并发、实时处理的日志接收服务;
○ 成功完成14个核心项目的无感知全流量迁移;
○ 平稳支撑高峰期55K+ QPS与600K+ TPS的流量冲击。
数据可靠性与性能:
○ 设计了数据兜底与补偿机制,在迁移过程中保障了数据零丢失,服务平均响应时间 <10ms;
○ 优化实时处理链路,将日志处理延时从分钟级优化至秒级,峰值时期延时从数小时降低至5分钟;
○ 提供实时、多维度条件过滤的埋点日志的调试测试工具,帮助业务方减少错误和无效日志90%。
成本与稳定性:
○ 完美兼容神策SDK上报协议,实现配置化接入,使新项目接入效率提升80%。
○ 通过自建链路,相比采购神策服务,每年为公司节约成本百万/年。

案例展示

  • Superset 深度定制化开发

    Superset 深度定制化开发

    基于Apache Superset二次开发,核心模块设计与开发、查询性能优化、平台稳定性建设; 主导开发了留存分析、用户分群、日志采集、埋点字段管理的等核心业务模块; 修复社区 BUG,提升查询性能与效率,优化系统稳定性。

  • 高性能日志接受程序

    高性能日志接受程序

    使用 Java 编写的高性能高可用日志接受程序,兼容适配神策SDK; 实现日志解压、解密、数据校验、新老用户判别,按项目分流等功能; 平稳支撑高峰期55K+ QPS与600K+ TPS的流量冲击; 稳定性高达99.99%

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服