原始计算平台依赖SQL存储过程,吞吐量低、开发维护困难,进过调研各种实时计算平台,最终决定基于Flink搭建一套集开发以及监控的计算平台
1. 在迁移历史项目的时候发现,一个单一的Flink Job开发涉及到代码编写、编译、包上传、查看日志等多个步骤,开发周期以周为单位,针对这个问题,基于Flink SQL Client和terminado开发了一套SQL实时调试系统,支持在web直接编写SQL开发和调试,支持实时返回运行结果,将Flink Job开发调试周期压缩到日,减少了90%的调试时间
2. 随着平台跑的Flink Job越来越多,设计了一套web界面管理并监控Flink Job,支持邮件报警,以及自定义Hook
需求方专属客服,免费梳理匹配
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如当前档期不合,也可免费为您推荐相似案例作者