360显示系统(大数据平台系统)+医疗大数据数仓(12T的数据)
团队项目2024.06–2025.01
目标:展示医院三年的数据(6家医院)
技术栈:WebServer(日志采集):接受每天医院的数据
DataX(同步数据):定时同步weberver的数据
Spark(计算):用户画像(给医院病人重大疾病打标签)
Hive +Diros(存储):将hive里DWD层的数据写入的Diros引擎中使它更加快速的反应数据
SpingBoot +Vue(可视化):
成果:显示近5年来医院就诊的信息
主要负责:Java后端接口的数据+ETL的编写,集群搭建,运维、DolphinScheduler任务的调度