基本信息

案例ID:167803

技术顾问:🐱亚琼_小朋友🌸 - 4年经验 - 紫光数智科技股份有限公司

联系沟通

微信扫码,建群沟通

项目名称:征信工作

所属行业:金融 - 理财

->查看更多案例

案例介绍

由于人行征信工作的扩展,征信项目的推广,一期项目在各种日志的数据量少的情况下可以支持,在数据量大的情况下资源出现了紧张,因此进行了二期的改造,在原来的基础上新增了查询机业务与银联的对账功能,把0.8版本的kafka升级为0.11版本,做到了对数据的两分组,对只要求无序保存的topic采用了三分区,对异常规则监控的topic使用了单分区,在生产者端使用了多线程,加大了各机构数据快速进入kafka队列中,并且在查询机端的照片比对全部放到了fastFs分布式文件服务器中,优化了redis存储,在客户数据增大的情况下,客户方重新采购了新的服务器。重新对kafka的数据接口使用了jmeter进行压测,确保数据的不丢失,不重复保存。在数据的统计分析上采用了kettle进行数据的统计分析
采用的技术有:redis,kafka(0.11版本), zookeeper, ssm ,fastFs, Tidb, kettle, spirngboot, springCloud

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服