职位:部门实时计算平台负责人
职责:
1. 负责实时计算平台的部署、建设、运维、优化、升级、迁移、故障处理等日常工作。支撑整个部门的实时计算需求。
a) 基于 flink 部署和搭建实时计算平台。Yarn 和 k8s 均有。集群规模公司内部第一。
b) flink 版本升级迭代。目前已经迭代三次。
c) storm 迁移 flink。
d) 各种实际业务场景的性能及资源优化。
e) 定期作业巡检,协助业务方改善优化作业。
f) 持续跟踪业内先进经验,不断优化升级公司内部 flink 内核版本及平台功能。
g) flink 集群搭建、运维、规划等。
2. 负责平台相关统架构设计、架构评审、代码 review 、系统性能测试评审等工作。
a) 设计实时计算平台全链路环节。
b) 主持实时计算相关的技术架构设计评审、代码 review 、性能测试等。
3. 负责业务需求对接、设计实现方案、需求进度把控、实现结果验证等相关工作。
a) 支持部门内部20+业务方需求。参与重点业务的系统架构设计。
b) 需求进度管理把控等事项。
4. 支持在线、离线训练框架。
a)以 flink 为基础,搭建在线、离线训练平台。支持大规模机器学习。
b)引入 alink、tf 等训练框架支持公司业务。
5. 支持数据中台建设及数据治理
a) 参与数据安全设计
b) 参与数据质量校验
c) 支持数仓建设及元数据管理
d)参与数据运维
6. 负责实时计算团队管理及建设。
a) 团队招聘
b) 团队建设
c) 团队规模9-14人