自助分析平台

企业服务数据服务案例ID：194850

开源开发者

4 年经验· 广州亚信科技有限公司

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

描述：
自助分析平台SA是一个完全可视化的基于Web的可视化SQL取数工具，面向ToB企业级产品，你可以通过类似玩乐高玩具的方式用一块块图形对象托拉拽SQL语句块，组合成复杂的SQL语句块，把复杂的SQL可视化图形转换为具体的数据库SQL语句进行预览取数分析。

主要模块：
ELK分布式集群日志搜索核心子项目。
Presto分布式SQL查询引擎数据源核心系统。
DB2 数据库核心系统。
Hadoop 集群核心系统。
后端垂直拆分集群核心系统。
前端水平拆分集群核心系统。
Vue重构前端内容中心核心系统。
后台管理中心核心系统。

负责主要模块：
1、负责实现ELK分布式集群日志搜索核心子项目。
2、负责实现Presto分布式SQL查询引擎数据源核心系统。
3、负责实现自助分析JVM调优。
4、负责实现自助分析日常需求开发、运维、Netty 开源项目 BUG 修复等。

主要技术栈：
采用集群架构开发模式。
后端：Hadoop、HDFS、Hive、Zookeeper、KerberOS、Presto、ELK、SSM、Netty 3.6.5、ActiveMQ、Nginx、JDBC、Servlet、Spring Boot、Spring Data Elasticsearch、Lombok、HikariCP。
数据库：DB2、Hive、MPP。
前端：Bootstrap、JQuery、Vue、element-ui、Echarts。

主要成绩：
1、与华为研发&运维技术沟通，支持KerberOS多租户并发认证解决方案难题。引入两个不同版本的相同JAR依赖包冲突难题。
2、ELK收集日志乱序问题。ES出现难以恢复的错误问题。ELK收集日志赶不上实时生产日志、CPU使用率高问题。生产环境部署Spring Boot 增量更新问题。
3、生产环境命令行Debug问题。JVM调优生产服务器项目宕机问题。
4、自助分析日志无法打印第三方框架日志问题。Netty开源项目Bug修复问题。IE 8低版本跨域问题。