DataEx

企业服务 数据服务 案例ID:139841
心茫然
5 年经验· 南京中兴
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

因公司机密,我参与该项目发的dataEx与阿里的datax工具大同小异,因此就参照dataEx来介绍。此为Hadoop+java+linux机器搭建的离线数据处理平台的工具。该项目将数据从各个数据源通过api以及动态token的方式用线程池并发处理解析json数据,将数据放入arrayblockingqueue,queue的下游用线程池写入hdfs分布式文件系统,根据时间分区自动映射到hive表中。

DataEx

企业服务 · 数据服务 案例ID:139841
联系该工程师
微信扫码,建群沟通
作者: 心茫然 - 5年经验- 南京中兴

案例介绍

因公司机密,我参与该项目发的dataEx与阿里的datax工具大同小异,因此就参照dataEx来介绍。此为Hadoop+java+linux机器搭建的离线数据处理平台的工具。该项目将数据从各个数据源通过api以及动态token的方式用线程池并发处理解析json数据,将数据放入arrayblockingqueue,queue的下游用线程池写入hdfs分布式文件系统,根据时间分区自动映射到hive表中。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×