项目名称:天匠大数据标签平台
项目时间:2021/07-2022/08
技术框架:srpingBoot、hive、elasticsearch、flink。
项目描述:天匠大数据平台主要包含首页,标签管理,标签应用,基础配置等模块,该系统主要包含游客,专项用户,超级管理员等几个类型用户,标签管理支持对接第三方系统方式创建标签以及个人数据导入的方式创建标签,审批通过后的标签可以对这两种方式的接入的数据,再通过标签管理的刷新功能进行数据打标签,刷新功能底层使用的是hive技术进行数据打标签,打完标签后的数据存在hive中一张大宽表里面,再使用同步功能将hive表的标签数据同步至es以支撑标签应用的查询,通过标签类别或者标签值去es检索出对应的打了标签的数据。基础配置模块主要是给用户添加专项,设置管理员这些操作。
责任描述:把控整体的开发进度;数据权限的设计,标签应用对应的es查询语句的编写;sql语句查询缓慢的优化;对接第三方系统;