统一数据处理服务

猿急送>山东后端兼职程序员>李华>

案例列表

基本信息

案例ID：193529

技术顾问：李华 - 5年经验 - 杭州海康威视技术有限公司

联系沟通

微信扫码，建群沟通

项目名称：统一数据处理服务

所属行业：企业服务 - 数据服务

->查看更多案例

案例介绍

统一数据处理服务作为物信融合平台的大数据计算模块和任务执行模块提供restful方式的对外接口，集成dpc引擎、spark引擎和通用jdbc引擎，并支持计算任务的周期性调度和一次性调度，并且支持用户基于统一处理服务的sdk开发自己数据计算算子在大数据平台上运行。
(1) udps任务流JSON的解析处理：解析并行执行任务、join、fork节点的处理
(2) Udps任务流管理模块oozie适配器的开发，将任务流描述的JSON中任务节点转换为Oozie中控制节点和动作节点，基于任务节点之间的连接关系构建有向无环图，生成Oozie的任务流描述文件提交调度给oozie执行
(3) 设计任务启动脚本udps-proxy.sh，将spark任务、通用sql任务和dpc任务转换为oozie中的shell action和ssh action
(4) 任务流的停止，并且提供回调接口，接收到任务请求接口提供的stopURL，存放到数据库中
(5) 任务流模块支持一次性调度和周期性调度任务节点，周期性调度支持每分钟、每小时、每天、制定时间进行定时调度任务（将BI中定义的周期性参数转换为cronTab表达式）
(6) 任务模块日志获取功能：通过oozie api获取任务的任务节点信息
(7) 开发oozie任务流和任务节点状态同步功能，定时将工作流状态和任务节点状态发送到rabbitMq的消息队列
(8) 集群信息管理模块功能：管理hadoop的集群配置文件，感知集群配置文件的下发和更新，根据下发用户、集群配置文件、hdfs上传根路径的变化去动态去更新hdfs客户端并重新上传jar包到hdfs中
(9) 运用ansible开源制作跑批服务成果物和升级包成果物