项目名称:XX数据中台
开发工具:IDEA-MySQL-Maven-Git-Jdk1.8
技术架构:SpringBoot、SpringData JPA、Redis、spark、filnk
组件:atlas、dolphinscheduler、zeppelin等组件
项目简介:数据中台是利用技术手段,设计出一款能够解决客户当前在内部各部门数据孤立、数据清理工作困难、数据分析能力薄弱的问题,降低服务成本,提升服务效率。本项目包含数据采集、数据清理、数据存储、数据计算框架、数据分析报表输出、管理仪表盘等可视化应用、数据开发、数据共享等功能。
项目职责:担任数据开发组组长,带领小组同事解决攻克技术难题。数据开发主要功能,支持在线编辑测试执行sql、python、spark、flink、java、hive、shell等脚本。支持在线打包spark\flink脚本。脚本一键发布成可执行任务。