项目背景:
实时数据平台基于二次开发的 DolphinScheduler对接 Flink / SeaTunnel 任务,将数据同步作业提交到 Hadoop + YARN 集群执行,并使用 HDFS 作为资源存储。平台涉及 JDK、Python3、ZooKeeper、Hadoop、Flink、SeaTunnel、wisewebscheduler、Redis、Nginx、n9e、Prometheus、wwdl 系统服务等多个组件,传统手工部署耗时长、环境一致性差、交付效率低,因此需要引入 Ansible 实现标准化、可重复、可配置IP的快速交付。
我的职责:
负责实时数据平台 Ansible 自动化部署方案设计,包括节点角色规划、Inventory 分组设计、变量体系设计、Jinja2 模板配置、Playbook 编排以及非 root 用户部署流程落地。针对交付 IP 不固定的问题,通过 ansible_host、host_vars 和 Jinja2 模板实现配置动态渲染;针对二次开发的 DolphinScheduler、Flink、SeaTunnel 和 Hadoop,完成三节点集群部署规划;同时统一使用 wwdl 用户进行部署,避免 root 权限风险。
结果产出:
输出了一套可复用的 Ansible 部署工程,包含 inventory.ini、ansible.cfg、group_vars、host_vars、多个组件 Role 以及主 Playbook。部署时只需替换 Inventory 中的 IP,即可自动完成 JDK、Python3、ZooKeeper、Hadoop、Flink、SeaTunnel、DolphinScheduler、Redis、Nginx、n9e、Prometheus、wwdl 系统服务的安装、配置和启停,显著降低人工交付成本,提升环境一致性和交付效率。