成果果果

宝武大数据
xData：“数存(Data Store)/数成(Data Succeed)/数智(Data Smart)/数现(Data Show)/数典(Data Standard)”五大组件（简称：5S数字套件）。xData产品始终围绕数据全生命周期管理的数据接入、存储、处理、分析、展示的每个环节，提供专业的数据数字化、服务化、智能化、可视化、标准化的技术组件，为生态技术平台ePlat和智能工厂平台iPlat内置强大的数据能力（DT），在全层次实现数据的“看得见、用得着、管得住、进得来、出得去”，为中国宝武共建高质量钢铁生态圈技术赋能！

本人隶属于数存(Data Store）-Stream流式计算组（实现数据数字化，实现海量、异构的数据分布式储存和计算，提供丰富的数据接入方式）

主要模块如下：

工作空间：不同的工作空间中组件，连接，任务不同

组件类型：组件的类型，主要定义组件所需要的配置信息

组件：提供flink任务和kafka任务所需的配置信息，可选择连接，不选这需要配置组件的连接信息

连接：从组件抽出来的连接信息，为了重用

任务：项目的核心，主要分为kafka任务，flink任务，flinksql任务

kafka : 通过拖拽组件来配置任务图形，配置组件数据的流向，底层通过kafka connector来实现

flink ：与kafka类似，也是使用拖拽组件的方式使用。 底层通过flink提供的源码来实现，flink还提供了Apache Flink Dashboard，一个任务监控web页面。

flinkSQL：通过页面编写flink sql使用底层采用flink提供的tableAPI实现，再flink的基础上还支持db2,oracle， sqlserver，postgresql等数据源（sql写法可去flink官网文档查看Table API）

执行器 : 手动配置任务执行时使用的flink与kafka connector ip端口，与任务绑定。自动模式：配置启动参数，一键启停。

依赖包 : flink sql任务执行时需要使用其他的源或数据格式，可添加实现的依赖包

用户管理：分为3类，管理者（无限制），开发者（工作空间，执行器只读，无用户管理，访问者：全部只读）

kafka-ui: 支持CEUD topic数据，offset等等kafka操作

flink-dashboard: 查看flinj job任务信息，流程图，算子信息，flink配置信息等等

帮助文档：提供开发手册（接口使用），软件使用手册，运维手册，环境部署手册

语音：支持中英文切换

采用技术

后端:
大数据服务：hadoop+zookeeper+hdfs+yarn+hbase+kafka+flink

web服务：spring+springMVC+springBoot+Jooq+spring security+consul

监控服务：pushgateway+prometheus+grafana+alertmanager

日志抽取：filebeat +logstash +elasticsearch

前端:vue+iview

支持的配置库:MySQL，DM，DB2

大数据流任务支持类型：postgresql+mysql+oracle+kafka+DB2+sqlserver+redis+file+TSDB+influxDB+iotdb+restful+oushuDB+STS+MongoDB

项目版本管理工具：GIT+maven