数据分析平台

人工智能 其他 案例ID:138089
浮云骑士
3 年经验· 伯图大数据管理有限公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

2、事例3
项目名称:伯图大数据-整体数仓
项目时间:2019年3月01日~2020年03月10日
项目职责:配合技术经理,负责整体数仓开发的进度控制与任务分配。
项目成果:统一的数仓,数据结构
项目使用技术:spark2.2.0、hbase2.0、hive2.1.1、kylin2.1.0、Java1.8、OGG、
scala2.11.8、shell脚本以及定时任务设置。
项目技术难点:
1.数据采集:各个子公司使用的系统平台未统一,使用的数据库和操作系统不同。数据库有mysql,oracle,sqlserver等。
2.各个公司的业务类型统一,以及数据结构的统一。
3.统一销售、采购和库存等业务流程,构建统一的数据模型。
4.存在个别公司,使用的sqlserver 表字段名为中文,无法使用hive On hbase 模式设置读写分离。
项目介绍:涉及7家药品销售商业公司和5家药品制造工业公司的异构数据整合。
将各个商业公司异构数据经过采集、分析、清洗。形成统一、规范化的数据结构。
统一数仓主要包含功能,销售流程、采购流程以及库存模块的数据规范统一。

数据分析平台

人工智能 · 其他 案例ID:138089
联系该工程师
微信扫码,建群沟通
作者: 浮云骑士 - 3年经验- 伯图大数据管理有限公司

案例介绍

2、事例3
项目名称:伯图大数据-整体数仓
项目时间:2019年3月01日~2020年03月10日
项目职责:配合技术经理,负责整体数仓开发的进度控制与任务分配。
项目成果:统一的数仓,数据结构
项目使用技术:spark2.2.0、hbase2.0、hive2.1.1、kylin2.1.0、Java1.8、OGG、
scala2.11.8、shell脚本以及定时任务设置。
项目技术难点:
1.数据采集:各个子公司使用的系统平台未统一,使用的数据库和操作系统不同。数据库有mysql,oracle,sqlserver等。
2.各个公司的业务类型统一,以及数据结构的统一。
3.统一销售、采购和库存等业务流程,构建统一的数据模型。
4.存在个别公司,使用的sqlserver 表字段名为中文,无法使用hive On hbase 模式设置读写分离。
项目介绍:涉及7家药品销售商业公司和5家药品制造工业公司的异构数据整合。
将各个商业公司异构数据经过采集、分析、清洗。形成统一、规范化的数据结构。
统一数仓主要包含功能,销售流程、采购流程以及库存模块的数据规范统一。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×