2022.05-2025.05
职责:
基于Apache Superset做深度定制化二次开发,核心模块设计与开发、查询性能优化、平台稳定性建设。
成果与亮点:
系统架构与核心功能:
○ 主导平台从0到1的搭建与迭代,深度定制化开发Apache Superset;
○ 主导开发了留存分析、用户分群、日志采集、埋点字段管理的等核心业务模块;
○ 成功支持业务方创建6000+ 有效数据图表,直接赋能业务决策。
性能优化:
○ 通过实施查询缓存机制、SQL谓词下推、Celery任务队列隔离、Trino查询复用等多项优化,将平台P90查询耗时降低20%,用户队列等待时间降低80%;
○ 将平台查询成功率从80%提升至98%,极大提升了用户体验和平台可靠性。
成本与稳定性:
○ 通过资源调度优化和查询逻辑改进,将平台日均查询成本降低 $700/d。
○ 构建了完善的监控告警体系,保障了平台 99.9% 的稳定性。
2023.02—2023.08
职责:
埋点日志接入服务架构设计、核心开发、全链路迁移与数据保障。
成果与亮点:
高并发处理:
○ 主导设计并实现了高可用、高并发、实时处理的日志接收服务;
○ 成功完成14个核心项目的无感知全流量迁移;
○ 平稳支撑高峰期55K+ QPS与600K+ TPS的流量冲击。
数据可靠性与性能:
○ 设计了数据兜底与补偿机制,在迁移过程中保障了数据零丢失,服务平均响应时间 <10ms;
○ 优化实时处理链路,将日志处理延时从分钟级优化至秒级,峰值时期延时从数小时降低至5分钟;
○ 提供实时、多维度条件过滤的埋点日志的调试测试工具,帮助业务方减少错误和无效日志90%。
成本与稳定性:
○ 完美兼容神策SDK上报协议,实现配置化接入,使新项目接入效率提升80%。
○ 通过自建链路,相比采购神策服务,每年为公司节约成本百万/年。