大数据底座为海量公共数据资源提供存储和计算能力。本系统采用目前主流的大数据技术框架Hadoop3.2以及常用的技术组件包括HDFS、Yarn、Zookeeper、Hive、HBase、Spark、Flink、Presto、Elasticsearch、Tez、hudi、Sqoop等来构建整个大数据底座的技术体系,可基于arm框架,国产操作系统等来完成运维部署,具备向导式与一键部署的能力。
在功能层面,本系统的数据底座已具备提供包括数据存储、数据计算、集群管理与监控等功能:
本系统的数据存储主要由分布式文件系统、分布式列式数据库、关系型数据库、时序数据库、空间数据库、分布式数据仓库等技术组件构成;
本系统的数据计算支持tez、Spark、Storm和Flink等批量/实时计算框架,提供海量历史数据的离线/实时计算处理能力,可实现单条查询速度<3ms,在十亿+条日志量中查检索时间<5s;
本系统的集群管理和监控主要包含大数据底座集群的管理、监控、诊断、维护及多租户资源管理等方面的功能。
城市雨洪模型建模,包括mike,tuflow,12d dra
负责⾦⻛科技PLC控制数据采集⼯业交换机光纤环⽹、视频监控⽹
负责运营商家宽市场营销拓展,主导集团政企ICT产品⼊库与落地
该案例为企业服务器自动化发布与监控运维方案,负责 Linux
现代化 DNS 记录管理与自动化工具,支持多 Provide
基于开源 new-api 的二次开发版本,统一聚合 40+
需求方专属客服,免费梳理匹配
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如当前档期不合,也可免费为您推荐相似案例作者