Spark 离线任务优化

猿急送>北京兼职程序员>二十一克灵魂>

案例列表

基本信息

案例ID：208898

技术顾问：二十一克灵魂 - 4年经验 - 小米

联系沟通

微信扫码，建群沟通

项目名称：Spark 离线任务优化

所属行业：企业服务 - 数据服务

->查看更多案例

案例介绍

项⽬描述：
针对 DMP 平台原有以 Spark Client ⽅式提交的离线任务进⾏优化。
责任描述：
1. 独⽴完成服务的架构设计、开发
2. 以 DB 为队列，通过建⽴⼀个调度表存放任务信息，通过接⼊⼀层 dispatcher 服务消费 DB 中的任务，以 Spark Cluster 的⽅式提交任务，并通过 YARN 接⼝实时检测任务的执⾏状态及时进⾏失败重试；
主要成果：⽬前已接⼊ 5 类 DMP 离线任务，⽇均任务 1500+，优化前平均等待时间 150 分钟+，优化后平均等 待时间 40 分钟+，缩短 110 分钟，效率提升近 2/3

案例图片

点击查看他的更多案例

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务，工程师会在任务下报名，招聘专员也会在1小时内与您联系，1小时内精准确定人才

点击发布任务

微信接收人才推送

关注猿急送微信平台，接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服
热门标签列表
程序员接私活 程序员兼职 企业外包 外包案例
热门城市人才
北京兼职程序员上海兼职程序员广州兼职程序员深圳兼职程序员杭州兼职程序员成都兼职程序员天津兼职程序员重庆兼职程序员武汉兼职程序员西安兼职程序员南京兼职程序员长沙兼职程序员苏州兼职程序员厦门兼职程序员福州兼职程序员合肥兼职程序员济南兼职程序员青岛兼职程序员大连兼职程序员长春兼职程序员沈阳兼职程序员哈尔滨兼职程序员石家庄兼职程序员太原兼职程序员无锡兼职程序员南昌兼职程序员洛阳兼职程序员郑州兼职程序员南宁兼职程序员珠海兼职程序员宁波兼职程序员昆明兼职程序员东莞兼职程序员贵阳兼职程序员温州兼职程序员佛山兼职程序员中山兼职程序员海口兼职程序员常州兼职程序员兰州兼职程序员呼和浩特兼职程序员乌鲁木齐兼职程序员海外兼职程序员其他兼职程序员山东兼职程序员远程兼职程序员
热门城市职位
北京程序员招聘上海程序员招聘广州程序员招聘深圳程序员招聘杭州程序员招聘成都程序员招聘天津程序员招聘重庆程序员招聘武汉程序员招聘西安程序员招聘南京程序员招聘长沙程序员招聘苏州程序员招聘厦门程序员招聘福州程序员招聘合肥程序员招聘济南程序员招聘青岛程序员招聘大连程序员招聘长春程序员招聘沈阳程序员招聘哈尔滨程序员招聘石家庄程序员招聘太原程序员招聘无锡程序员招聘南昌程序员招聘洛阳程序员招聘郑州程序员招聘南宁程序员招聘珠海程序员招聘宁波程序员招聘昆明程序员招聘东莞程序员招聘贵阳程序员招聘温州程序员招聘佛山程序员招聘中山程序员招聘海口程序员招聘常州程序员招聘兰州程序员招聘呼和浩特程序员招聘乌鲁木齐程序员招聘海外程序员招聘其他程序员招聘山东程序员招聘远程程序员招聘
热门人才推荐
JavaPHPPythonNode.jsC#C++GoRubyRust全栈后端工程师UnityUEcocos游戏后端工程师游戏工程师iOS工程师Android工程师前端工程师嵌入式工程师UI设计师产品经理测试工程师运维工程师运营/编辑其它
热门职位推荐
iOS工程师Android工程师前端工程师后端工程师嵌入式工程师UI设计师产品经理测试工程师运维工程师游戏工程师运营/编辑其它
找人才 | 接项目 | 招聘专员 | 京ICP备16030138号-1 | Copyright © 2015-2024 猿急送