数据标准化落地系统
微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。
案例介绍
数据标准化落地系统是将业务系统在资金流转过程中产生的大量 交易明细、用户信息、企业工单、直连，间连清算明细、手续费优惠明细、 费率明细、代发代扣明细，POS,POSP交易明细，还款明细，差错明细等数 据进行解密、清洗、整合、标准化操作，形成可供分析的标准化数据。渠道 对账单数据标准化项目是该系统的一个模块，是将同公司有业务往来的银行 或受银保监会监督的金融机构在资金流转过程中数据的文件凭证采集后，统 一处理成可用的标准化数据。部分数据通过业务系统同步至 kafka，另一部 分数据通过网络请求传输至 kafka，还有部分数据通过脚本直接获取文件传 输到 kafka。spark streaming 实时消费 kafka 中的数据，根据不同的规 则，将不同形式的数据流经过处理，形成统一格式的消息，然后发送至 kafka 的标准化 Topic，利用 flume 存入 HDFS，然后通过 HIVE 映射到外 部表，供离线数仓使用。也有部分数据直接存入es供实时业务查询
数据标准化落地系统
联系该工程师
微信扫码，建群沟通
案例介绍
数据标准化落地系统是将业务系统在资金流转过程中产生的大量 交易明细、用户信息、企业工单、直连，间连清算明细、手续费优惠明细、 费率明细、代发代扣明细，POS,POSP交易明细，还款明细，差错明细等数 据进行解密、清洗、整合、标准化操作，形成可供分析的标准化数据。渠道 对账单数据标准化项目是该系统的一个模块，是将同公司有业务往来的银行 或受银保监会监督的金融机构在资金流转过程中数据的文件凭证采集后，统 一处理成可用的标准化数据。部分数据通过业务系统同步至 kafka，另一部 分数据通过网络请求传输至 kafka，还有部分数据通过脚本直接获取文件传 输到 kafka。spark streaming 实时消费 kafka 中的数据，根据不同的规 则，将不同形式的数据流经过处理，形成统一格式的消息，然后发送至 kafka 的标准化 Topic，利用 flume 存入 HDFS，然后通过 HIVE 映射到外 部表，供离线数仓使用。也有部分数据直接存入es供实时业务查询
案例图片
1小时精推人才
需求方专属客服，免费梳理匹配
扫码加微信 · 客服人工对接
