hadoop数据底座

企业服务 云计算 案例ID:240850
11 年经验· 浩鲸云计算科技股份有限公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

大数据底座为海量公共数据资源提供存储和计算能力。本系统采用目前主流的大数据技术框架Hadoop3.2以及常用的技术组件包括HDFS、Yarn、Zookeeper、Hive、HBase、Spark、Flink、Presto、Elasticsearch、Tez、hudi、Sqoop等来构建整个大数据底座的技术体系,可基于arm框架,国产操作系统等来完成运维部署,具备向导式与一键部署的能力。
在功能层面,本系统的数据底座已具备提供包括数据存储、数据计算、集群管理与监控等功能:
本系统的数据存储主要由分布式文件系统、分布式列式数据库、关系型数据库、时序数据库、空间数据库、分布式数据仓库等技术组件构成;
本系统的数据计算支持tez、Spark、Storm和Flink等批量/实时计算框架,提供海量历史数据的离线/实时计算处理能力,可实现单条查询速度<3ms,在十亿+条日志量中查检索时间<5s;
本系统的集群管理和监控主要包含大数据底座集群的管理、监控、诊断、维护及多租户资源管理等方面的功能。

hadoop数据底座

企业服务 · 云计算 案例ID:240850
联系该工程师
微信扫码,建群沟通
作者: - 11年经验- 浩鲸云计算科技股份有限公司

案例介绍

大数据底座为海量公共数据资源提供存储和计算能力。本系统采用目前主流的大数据技术框架Hadoop3.2以及常用的技术组件包括HDFS、Yarn、Zookeeper、Hive、HBase、Spark、Flink、Presto、Elasticsearch、Tez、hudi、Sqoop等来构建整个大数据底座的技术体系,可基于arm框架,国产操作系统等来完成运维部署,具备向导式与一键部署的能力。
在功能层面,本系统的数据底座已具备提供包括数据存储、数据计算、集群管理与监控等功能:
本系统的数据存储主要由分布式文件系统、分布式列式数据库、关系型数据库、时序数据库、空间数据库、分布式数据仓库等技术组件构成;
本系统的数据计算支持tez、Spark、Storm和Flink等批量/实时计算框架,提供海量历史数据的离线/实时计算处理能力,可实现单条查询速度<3ms,在十亿+条日志量中查检索时间<5s;
本系统的集群管理和监控主要包含大数据底座集群的管理、监控、诊断、维护及多租户资源管理等方面的功能。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×