杭银随心查
案例介绍
--相关技术: spring-cloud,hbase, elasticsearch,zookeeper
--项目背景：
由于账单数据的增大，原有的查询系统不符合现在的实时查询要求，要求对5年内近20亿的账单数据达到实时毫秒级的查询，对日汇总数据达到T-1的实时查询
--职 责：
1.架构设计文档编写
2. elasticsearch、springcloud注册中心，网关等脚手架搭建
3.快速海量数据初始化以及后续增量数据导入ES模块编写
4.高并发查询模块编写
5.生产环境项目部署
--项目收获：
1.合理的ES分片和索引字段建立
由于第一次接触ES搜索引擎，通过相关资料结合业务数据量建立最优的ES配置和索引
2.高效并发的数据导入
初期初始化数据量巨大，采用集群模式+分布式日期锁+导入日志表实现快速将HBASE的20亿数据在2天内自动化可断点导入ES
3.ES+HBASE对海量数据高并发下毫秒级的查询
根据条件对ES查询得到rowkey再查询HBASE得到完整数据，通过压力测试，能达到300左右的TPS
杭银随心查
案例介绍
--项目名称：杭州银行账单随心查
--相关技术: spring-cloud,hbase, elasticsearch,zookeeper
--项目背景：
由于账单数据的增大，原有的查询系统不符合现在的实时查询要求，要求对5年内近20亿的账单数据达到实时毫秒级的查询，对日汇总数据达到T-1的实时查询
--职 责：
1.架构设计文档编写
2. elasticsearch、springcloud注册中心，网关等脚手架搭建
3.快速海量数据初始化以及后续增量数据导入ES模块编写
4.高并发查询模块编写
5.生产环境项目部署
--项目收获：
1.合理的ES分片和索引字段建立
由于第一次接触ES搜索引擎，通过相关资料结合业务数据量建立最优的ES配置和索引
2.高效并发的数据导入
初期初始化数据量巨大，采用集群模式+分布式日期锁+导入日志表实现快速将HBASE的20亿数据在2天内自动化可断点导入ES
3.ES+HBASE对海量数据高并发下毫秒级的查询
根据条件对ES查询得到rowkey再查询HBASE得到完整数据，通过压力测试，能达到300左右的TPS
案例图片
相似案例推荐
-
任务调度系统
1. 该项目主要用于财务根据支付宝收出账记录，以及对应订单
-
公道云-h5
功道云-h5 功道云是一款积分管理系统，通过奖扣分来提升员
-
公道云-后台管理系统
功道云是一款积分管理系统，通过奖扣分来提升员工执行力、提升工
-
二次电源自动化测试工程
项目名称：二次电源自动化测试工程 项目描述：二次电源自动
-
企业态势
角色：java开发工程师 负责数据的接入、解析和入库，对数
-
订单、结算、OA管理平台
主要模块包括：企业员工信息管理（OA）、商品信息管理、订单管
1小时精推人才
需求方专属客服，免费梳理匹配
