建行客户信息数据智能检测系统(CIDC)
技术栈:spring、ibatis、P12框架、oracle数据库、weblogic服务器
Hadoop平台、Hive、HBase、ZooKeeper、Spark计算引擎
项目描述:
由于央行监管需求,要求银行客户信息的完善性,产生相应的系统需求。由于建行客户信息的巨大存量,遂决定采用大数据的处理方案。
系统联机部分主要采用建行的P12框架进行业务开发,主要涉及各个分行、支行的任务提起,上级行对任务的审批,及任务的取消和拒绝。批量部分由大数据平台实现,负责监测联机部分的提交过来的任务,搜集任务条件,然后对数据仓库提供的数据进行计算筛选,生成相应的管控名单,入库HBase提供查询功能。
项目职责:
1、 参与业务线条的需求分析,并对数据线条的数据处理进行分析
2、 参与原型设计讨论
3、 设计业务线条的数据模型、交易及接口
4、 参与hadoop资源的申请可研编写
5、 参与数据分析各主题的规则讨论
6、 参与Hive模型及HBase模型的
7、 进行部分交易的开发
8、 对部分分析规则进行spark-sql的开发
9、 功能测试及非功能测试的参与