2、事例3 项目名称:伯图大数据-整体数仓 项目时间:2019年3月01日~2020年03月10日 项目职责:配合技术经理,负责整体数仓开发的进度控制与任务分配。 项目成果:统一的数仓,数据结构 项目使用技术:spark2.2.0、hbase2.0、hive2.1.1、kylin2.1.0、Java1.8、OGG、 scala2.11.8、shell脚本以及定时任务设置。 项目技术难点: 1.数据采集:各个子公司使用的系统平台未统一,使用的数据库和操作系统不同。数据库有mysql,oracle,sqlserver等。 2.各个公司的业务类型统一,以及数据结构的统一。 3.统
2、事例3 项目名称:伯图大数据-整体数仓 项目时间:2019年3月01日~2020年03月10日 项目职责:配合技术经理,负责整体数仓开发的进度控制与任务分配。 项目成果:统一的数仓,数据结构 项目使用技术:spark2.2.0、hbase2.0、hive2.1.1、kylin2.1.0、Java1.8、OGG、 scala2.11.8、shell脚本以及定时任务设置。 项目技术难点: 1.数据采集:各个子公司使用的系统平台未统一,使用的数据库和操作系统不同。数据库有mysql,oracle,sqlserver等。 2.各个公司的业务类型统一,以及数据结构的统一。 3.统...
1.实时采集关系型数据库,存储至hadoop. 2.使用spark 对数据进行ETL处理,完成后将数据存储在kylin 中. 给前端进行查询已经数据展示...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人