查询平台

金融第三方支付案例ID：223539

有风

14 年经验· 通联

微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

项目描述：
随着公司对数据检索的需求不断增多，对实时响应的需求越来越高，我们组筹备搭建一个即席查询系统提供查询服务，拟在数仓建设的基础上提供实时查询数仓数据的网站。满足客服、事业部、业务系统、各层级领导对会员、交易、部分实时流水的即席查询需求。
涉及的技术栈：
Hive,Impala,HBase,Elasticsearch,Doris,MySQL,Oracle,Redis
Java,Jsp,Python,SpringMVC,MyBatis
DataX,Kettle
ActiveMQ
Spark
Ranger
React
个人职责:
需求管理
1.整合和平衡各方业务需求，归纳成资源查询、交易查询、实时流水查询，提供异步历史库查询。
2.数据基座是数据仓库，并在其基础上提炼出加速查询的数据集市。
3.每天在规定的时间范围内准备好数据开放查询，并提供数据补录及纠错机制。
平台建设方面
1.采用前后端分离的设计模式，后端使用SpringMVC架构，Mybatis完成传统数据源的查询封装，自研HBase、ElasticSearch的查询封装，完成统一的查询入口，实现不同数据源的查询。
2.前段使用动态编码实现查询页面通过配置即可调整，无需变更代码。
3.后台服务通过配置实现动态调整，无需变更代码。
主要成果
1.根据查询条件选择查询方案，实现查询分布在Oracle、DB2、MYSql、Doris、Hive、Impala、HBase、ElasticSearch、Redis上的数据。
2.千万级数据1秒内响应，亿万及数据10秒内响应，历史库数据异步响应。
3.系统维护简单，通过配置即可实现页面和后台查询的调整，不需要重启服务。

成绩：
统一查询平台专利已经获批，我是该软件专利的第一作者。