flink流式架构

猿急送>上海兼职程序员>曹海瑞>

案例列表

基本信息

案例ID：209271

技术顾问：曹海瑞 - 14年经验 - 上海携程技术有限公司

联系沟通

微信扫码，建群沟通

项目名称：flink流式架构

所属行业：电子商务 - B2C

->查看更多案例

案例介绍

该项目主要用于同策实时 bi 的一些数据统计和展现
1.fllink 流式框架系统架构、应用架构搭建、maven 分层和多环境部署
2.flink 流式框架集成 nacos、kafka、kudu、redis、elk ,实现多环境部署
3.基于 flinkcdc+flink+kafka 实现 mysql binlog 推送至 kafka
4.基于 fllinksql 流式框架 kafka binlog 订阅、窗口聚合、checkpoint 机制实现排行榜 bi 统计
5.基于 flink 流式构架实现 bi 集团报表、回款报表业务宽表数据同步
6.基于 yarn 实现 flink 应用高可用部署
7.springboot+druid+myabtis+impala+kudu 系统架构、应用架构搭建、maven 分层和多环境部署
8.基于阿里云构建高可用、高性能、高并发流式平台
项目职责:
1.架构设计、技术选型、架构评审
2.基于yarn线上部署flink流式任务并接入prometheus监控
3.项目搭建、项目分层、核心代码编写、疑难问题排查解决
4.代码质量把控、code review
项目业绩:
1.完成同策flink流式架构从0到1的架构设计和平台建设
2.上线后流式服务99.9%可用
3.实现同策bi秒级统计和展现，超预期满足业务需求，提升业务效率