1、数据导⼊导出: (1)通过 DataX将机构数据导⼊到 hive 集群中; (2)将计算完的业务指标通过sftp上传到基础模块; (3)利⽤ DACP数据坊完成调度任务。 2、离线数仓: (1)根据业务设计数仓分层结构,主要分为 STAGE、ODS、DWD、ST、SPLIT层; (2)落地负责主题的各层建模与分析计算⼯作; (3)对数据进⾏ ETL 操作,通过拉链表解决历史快照的问题;
1.与相关⼈员沟通,了解各个表之间的关联以及数据的含义 2.建⽴新的程序,规划⼀套整合逻辑,编写出每个表需要的insert语句 3.对程序进⾏测试,之后完成上线
1、数据导⼊导出: (1)通过 DataX将机构数据导⼊到 hive 集群中; (2)将计算完的业务指标通过sftp上传到基础模块; (3)利⽤ DACP数据坊完成调度任务。 2、离线数仓: (1)根据业务设计数仓分层结构,主要分为 STAGE、ODS、DWD、ST、SPLIT层; (2)落地负责主题的各层建模与分析计算⼯作; (3)对数据进⾏ ETL 操作,通过拉链表解决历史快照的问题;...
1.与相关⼈员沟通,了解各个表之间的关联以及数据的含义 2.建⽴新的程序,规划⼀套整合逻辑,编写出每个表需要的insert语句 3.对程序进⾏测试,之后完成上线...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人