项目描述:数据采集系统核心功能包括基础能力 、调度执行 、配置管理 、异常管理 、安全管控 、生命周期管理 、监控分析及对外开 放等 ,构建形成一体化的全程调度能力; 同时支持不同平台的调度任务通过数据采集系统统一调度;全程调度系统分数据管理 ,数 据监控 ,数据引擎 ,数据分析 ,服务管理 ,系统管理六个模块:(异构数据搬迁:支持文件 、mysql 、oracle 、GP 、ES 、hive、 hbase 、hdfs 、MongoDB 、kafka 、ogg 的数据互相同步 。) 系统业务流: 1 、数据源配—任务管理—节点管理—监控分析—血缘分析--告警提示 项目职责: 1 、执行
大数据底座为海量公共数据资源提供存储和计算能力。本系统采用目前主流的大数据技术框架Hadoop3.2以及常用的技术组件包括HDFS、Yarn、Zookeeper、Hive、HBase、Spark、Flink、Presto、Elasticsearch、Tez、hudi、Sqoop等来构建整个大数据底座的技术体系,可基于arm框架,国产操作系统等来完成运维部署,具备向导式与一键部署的能力。 在功能层面,本系统的数据底座已具备提供包括数据存储、数据计算、集群管理与监控等功能: 本系统的数据存储主要由分布式文件系统、分布式列式数据库、关系型数据库、时序数据库、空间数据库、分布式数据仓库等技术组件构
项目描述:数据采集系统核心功能包括基础能力 、调度执行 、配置管理 、异常管理 、安全管控 、生命周期管理 、监控分析及对外开 放等 ,构建形成一体化的全程调度能力; 同时支持不同平台的调度任务通过数据采集系统统一调度;全程调度系统分数据管理 ,数 据监控 ,数据引擎 ,数据分析 ,服务管理 ,系统管理六个模块:(异构数据搬迁:支持文件 、mysql 、oracle 、GP 、ES 、hive、 hbase 、hdfs 、MongoDB 、kafka 、ogg 的数据互相同步 。) 系统业务流: 1 、数据源配—任务管理—节点管理—监控分析—血缘分析--告警提示 项目职责: 1 、执行...
大数据底座为海量公共数据资源提供存储和计算能力。本系统采用目前主流的大数据技术框架Hadoop3.2以及常用的技术组件包括HDFS、Yarn、Zookeeper、Hive、HBase、Spark、Flink、Presto、Elasticsearch、Tez、hudi、Sqoop等来构建整个大数据底座的技术体系,可基于arm框架,国产操作系统等来完成运维部署,具备向导式与一键部署的能力。 在功能层面,本系统的数据底座已具备提供包括数据存储、数据计算、集群管理与监控等功能: 本系统的数据存储主要由分布式文件系统、分布式列式数据库、关系型数据库、时序数据库、空间数据库、分布式数据仓库等技术组件构...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人