起源大数据分析与应用平台:
● 项目简介:
是一个基于湖仓一体概念实现的包括数据开放服务平台、数据治理平台、数据开发平台等组成的集“汇”、“治”、“融”、“享”、“用”等主要功能的可用于政务、企业等组织进行数据汇聚管理、数据治理、数据分析、数据挖掘的集近实时计算大数据平台。支持多种数据源、主被动、快速的数据采集与共享;支持近实时的数据处理与共享;支持可视化的数据开发任务设计;支持可视化自定义式的数据接口设计。
涉及的技术包括Hudi、HDFS、Yarn、Flink、FlinkCDC、Kafka、Doris、Hive、Neo4J、MinIO、XXL-Job、MongoDB、Redis、微前端、微服务等。
● 主要职责:
1、负责项目的立项、产品设计研发、进度管理、任务管理、团队建设、文档编写与管理、知识管理、汇报等。
2、参与产品调研与平台整体功能架构设计以及参与微服务系统架构设计。
3、负责大数据新技术的探索研究、试验与落地。
4、负责基于数据湖技术Hudi的湖仓一体大数据架构设计与技术选型。
5、负责起源引擎(统一调度中心、统一执行代理)的设计与实现。
6、负责入湖、清洗等Flink任务的实现。
7、负责大数据集群的部署与维护。
数字体育数据服务中心
● 项目简介:
数据服务中心是一个为数字体育服务平台各业务系统提供数据采集、数据处理、数据共享开放的大数据平台。平台主要包括数据共享交换系统、数据资产管理系统、数据开发系统、数据服务管理系统等组成。
大数据组件主要涉及HBase、Kafka、Hive、Presto、Azkaban等。
● 主要职责:
1、负责项目计划制定、系统设计、进度管理、任务管理、团队建设、文档编写与管理、知识管理、汇报等。
2、负责大数据技术的预研、选型、落地以及大数据技术架构设计。
3、负责数据采集存储至基于HBase的贴源库、基于Hive数仓分层设计与实现。
4、负责基于Azkaban数据融合任务管理、基于Presto的统一查询组件。
5、负责数据资产目录、数据资产管理模块的接口开发。
福建省大气专题应用项目
● 项目简介:
该项目是基于时间分辨率为1天的气象栅格数据产品(PM2.5、PM10、AOD),进行按日、月、季、年进行融合展示、进行月、季、年的优良天数统计、多源监测对比以及质量监测与评估报告等数据产品专题应用系统。
技术主要涉及涉及HDFS、GeoTrellis、GeoServer、Vue、Leaflet、SpringBoot等。
● 主要职责:
1、负责整个项目的开发计划、技术选型、任务管理、进度管理、研发、汇报等。
2、负责将天数据进行月、季、年和各地区的平均值融合计算以及根据优良天数指标进行优良天数统计。
3、使用Geotrellis将栅格数据进行切片并存储至HDFS以及实现WMTS服务为前端提供可实时渲染的瓦片服务。
水电气象服务平台
1、负责转型Java技术栈后的第一个项目的技术选型与基础开发框架的搭建,提出并使用nginx,执行前后端完全分离的开发模式。
2、负责与团队一同讨论需求分析、系统详细设计、数据准备、数据库设计、接口定义以及相应的文档的编写,实施过程参与部分接口的实现。
3、负责后台数据处理可插拔式插件管理器的编写。
4、负责项目中的GIS模块的实现。其中首次采用后台采用meteoinfolib生成等值面等值线geojson格式数据;利用geotools编写根据基于区面和气象站点的泰森多边形关系。
5.、负责研究根据水库大坝点利用DEM数据结合arcgis server gp服务实现水库集水区的自动提取。