1. 数据仓库取数工具产品开发
基于数据仓库星型雪花模型进行取数工具开发,支持hive spark clickhouse三种查询引擎,通过在web界面自动拼接sql的方式进行取数,开发采用scala java混合语言开发,使用 springboot mybatis plus mysql,前端使用vue开发框架
2. 基于大数据日志清洗分析系统
负责日志的自动采集,清洗,可视化等全链路的数据流程开发。首先通过flume组件进行原始日志的清洗,清洗出具体的key value数据格式,存储到Hdfs分布式文件系统中,然后使用spark进行清洗后的数据统计和结构开发,将清洗后的数据写入oracle数据库中,然后使用前端vue进行数据可视化