Spark 离线任务优化
微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。
案例介绍
项⽬描述：
针对 DMP 平台原有以 Spark Client ⽅式提交的离线任务进⾏优化。
责任描述：
1. 独⽴完成服务的架构设计、开发
2. 以 DB 为队列，通过建⽴⼀个调度表存放任务信息，通过接⼊⼀层 dispatcher 服务消费 DB 中的任务，以 Spark Cluster 的⽅式提交任务，并通过 YARN 接⼝实时检测任务的执⾏状态及时进⾏失败重试；
主要成果：⽬前已接⼊ 5 类 DMP 离线任务，⽇均任务 1500+，优化前平均等待时间 150 分钟+，优化后平均等 待时间 40 分钟+，缩短 110 分钟，效率提升近 2/3
针对 DMP 平台原有以 Spark Client ⽅式提交的离线任务进⾏优化。
责任描述：
1. 独⽴完成服务的架构设计、开发
2. 以 DB 为队列，通过建⽴⼀个调度表存放任务信息，通过接⼊⼀层 dispatcher 服务消费 DB 中的任务，以 Spark Cluster 的⽅式提交任务，并通过 YARN 接⼝实时检测任务的执⾏状态及时进⾏失败重试；
主要成果：⽬前已接⼊ 5 类 DMP 离线任务，⽇均任务 1500+，优化前平均等待时间 150 分钟+，优化后平均等 待时间 40 分钟+，缩短 110 分钟，效率提升近 2/3
Spark 离线任务优化
联系该工程师
微信扫码，建群沟通
案例介绍
项⽬描述：
针对 DMP 平台原有以 Spark Client ⽅式提交的离线任务进⾏优化。
责任描述：
1. 独⽴完成服务的架构设计、开发
2. 以 DB 为队列，通过建⽴⼀个调度表存放任务信息，通过接⼊⼀层 dispatcher 服务消费 DB 中的任务，以 Spark Cluster 的⽅式提交任务，并通过 YARN 接⼝实时检测任务的执⾏状态及时进⾏失败重试；
主要成果：⽬前已接⼊ 5 类 DMP 离线任务，⽇均任务 1500+，优化前平均等待时间 150 分钟+，优化后平均等 待时间 40 分钟+，缩短 110 分钟，效率提升近 2/3
案例图片
相似案例推荐
-
基于go-rod的自动化办公项目
该项目通过go-rod框架自动采集数据，根据后端逻辑自动完成
-
SMT自动分离不同模块物料
贴片公司贴片物料有多个模组，其中多个小模组（最多8个）在一个
-
数字化载荷仿真平台
责任描述： 使用Vue+Vuex完成项目的基础架构
-
Atom 货柜货架云端管理系统
Atom 货柜货架云端管理系统 开发环境：Window
-
后台管理系统
一、项目目标 提高管理效率：通过自动化和智能化的管理手
-
CRM客户合同管理系统
1. 【客户中台】签约主体、客户、代理商、代理商签约主体、商
1小时精推人才
需求方专属客服，免费梳理匹配
扫码加微信 · 客服人工对接
