数据湖

企业服务 数据服务 案例ID:219500
赌神L_a_n_g
9 年经验· 中银富登村镇银行
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

内容:
北汽新能源数据迁移项目本项目为大数据基础平台优化升级,其核心是将现有LeapHD 系统版本升级到R412后,必须保证旧版本下所有业务在新版本下正常运行。为了降低在迁移工作中的技术风险,需要在新、旧环境下做POC 技术验证,包括数据库建表(如何批量获得建表的DDL 语句)、ETL 任务与调度、HDFS 历史文件导入与权限验证、数据表对数策略等;最终,基于POC 技术验证方案,按项目优先级、分阶段、重复选代完成数据迁移工作。
工作内容:
1、编写shel 脚本在leapHD4上建表、建库、建分区
2、将leapHD3的数据迁移到leapHD4下使用两种方案:
1)数据将数据下载到leapHD3本地,然后拷贝到leapHD4上面,再put 到对应的表下
2)使用distcp 跨集群拷贝,直接从leapHD3的数据迁移到leapHD4下
3、配置对应调度流程
核对新老集群的数据量整理数据迁移相关文档
6、项目交接
业绩:
完成数据迁移,项目顺利交付

数据湖

企业服务 · 数据服务 案例ID:219500
联系该工程师
微信扫码,建群沟通
作者: 赌神L_a_n_g - 9年经验- 中银富登村镇银行

案例介绍

内容:
北汽新能源数据迁移项目本项目为大数据基础平台优化升级,其核心是将现有LeapHD 系统版本升级到R412后,必须保证旧版本下所有业务在新版本下正常运行。为了降低在迁移工作中的技术风险,需要在新、旧环境下做POC 技术验证,包括数据库建表(如何批量获得建表的DDL 语句)、ETL 任务与调度、HDFS 历史文件导入与权限验证、数据表对数策略等;最终,基于POC 技术验证方案,按项目优先级、分阶段、重复选代完成数据迁移工作。
工作内容:
1、编写shel 脚本在leapHD4上建表、建库、建分区
2、将leapHD3的数据迁移到leapHD4下使用两种方案:
1)数据将数据下载到leapHD3本地,然后拷贝到leapHD4上面,再put 到对应的表下
2)使用distcp 跨集群拷贝,直接从leapHD3的数据迁移到leapHD4下
3、配置对应调度流程
核对新老集群的数据量整理数据迁移相关文档
6、项目交接
业绩:
完成数据迁移,项目顺利交付

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×