内容:
北汽新能源数据迁移项目本项目为大数据基础平台优化升级,其核心是将现有LeapHD 系统版本升级到R412后,必须保证旧版本下所有业务在新版本下正常运行。为了降低在迁移工作中的技术风险,需要在新、旧环境下做POC 技术验证,包括数据库建表(如何批量获得建表的DDL 语句)、ETL 任务与调度、HDFS 历史文件导入与权限验证、数据表对数策略等;最终,基于POC 技术验证方案,按项目优先级、分阶段、重复选代完成数据迁移工作。
工作内容:
1、编写shel 脚本在leapHD4上建表、建库、建分区
2、将leapHD3的数据迁移到leapHD4下使用两种方案:
1)数据将数据下载到leapHD3本地,然后拷贝到leapHD4上面,再put 到对应的表下
2)使用distcp 跨集群拷贝,直接从leapHD3的数据迁移到leapHD4下
3、配置对应调度流程
核对新老集群的数据量整理数据迁移相关文档
6、项目交接
业绩:
完成数据迁移,项目顺利交付
项目背景: 原有国e招标项目是用jsp+java实现的老
疫情人员展示区域展示H5,通过采集的数据使用echarts绘
该项目保留了所有数据的是所有历史版本并列有历史版本和当前版本
项目包括排产到生产到质检到完工到出库的一套流程所有数据都可做
我在该项目独立负责大屏开发,从0到1,该项目主要是反应中烟各
负责前端项目搭建,页面开发,对接 ue像素流,对接后台数据等
需求方专属客服,免费梳理匹配
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如当前档期不合,也可免费为您推荐相似案例作者