数仓是通过分析客户信息,账户信息,企业关系,事 件信息,汇总数据,清算数据,渠道信息为银行及金融机构的业务营销,业 务推广,费率调整,优惠策略,为公司运营,销售,手续费,风险控制,为 企业商品营销,资金调整提供数据报表、风险评估、决策方向的业务系统。 app 前端埋点数据通过 Flume 采集、其他子系统业务数据库中的数据通过 logstash 采集,银行前置机数据通过 canal 采集后,发送到 kafka 的不同 Topic之中,使用Flume落地到HDFS,通过HIVE映射外部表,配合spark sql 将数据清洗分层。该系统数据仓库分为四层。ods 层为原始数据,dwd 层为清洗之后的
数据标准化落地系统是将业务系统在资金流转过程中产生的大量 交易明细、用户信息、企业工单、直连,间连清算明细、手续费优惠明细、 费率明细、代发代扣明细,POS,POSP交易明细,还款明细,差错明细等数 据进行解密、清洗、整合、标准化操作,形成可供分析的标准化数据。渠道 对账单数据标准化项目是该系统的一个模块,是将同公司有业务往来的银行 或受银保监会监督的金融机构在资金流转过程中数据的文件凭证采集后,统 一处理成可用的标准化数据。部分数据通过业务系统同步至 kafka,另一部 分数据通过网络请求传输至 kafka,还有部分数据通过脚本直接获取文件传 输到 kafka。spark streaming
数仓是通过分析客户信息,账户信息,企业关系,事 件信息,汇总数据,清算数据,渠道信息为银行及金融机构的业务营销,业 务推广,费率调整,优惠策略,为公司运营,销售,手续费,风险控制,为 企业商品营销,资金调整提供数据报表、风险评估、决策方向的业务系统。 app 前端埋点数据通过 Flume 采集、其他子系统业务数据库中的数据通过 logstash 采集,银行前置机数据通过 canal 采集后,发送到 kafka 的不同 Topic之中,使用Flume落地到HDFS,通过HIVE映射外部表,配合spark sql 将数据清洗分层。该系统数据仓库分为四层。ods 层为原始数据,dwd 层为清洗之后的...
数据标准化落地系统是将业务系统在资金流转过程中产生的大量 交易明细、用户信息、企业工单、直连,间连清算明细、手续费优惠明细、 费率明细、代发代扣明细,POS,POSP交易明细,还款明细,差错明细等数 据进行解密、清洗、整合、标准化操作,形成可供分析的标准化数据。渠道 对账单数据标准化项目是该系统的一个模块,是将同公司有业务往来的银行 或受银保监会监督的金融机构在资金流转过程中数据的文件凭证采集后,统 一处理成可用的标准化数据。部分数据通过业务系统同步至 kafka,另一部 分数据通过网络请求传输至 kafka,还有部分数据通过脚本直接获取文件传 输到 kafka。spark streaming...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人