因公司机密,我参与该项目发的dataEx与阿里的datax工具大同小异,因此就参照dataEx来介绍。此为Hadoop+java+linux机器搭建的离线数据处理平台的工具。该项目将数据从各个数据源通过api以及动态token的方式用线程池并发处理解析json数据,将数据放入arrayblockingqueue,queue的下游用线程池写入hdfs分布式文件系统,根据时间分区自动映射到hive表中。
该项目为ssm项目,通过前端点击事件触发增删改查事件将所需参数传入后端,后端通过参数进行业务逻辑处理,并调用mapper的sql命令给数据库,该项目我参与后台开发以及设计文档编写,项目部署linux机器测试上线
因公司机密,我参与该项目发的dataEx与阿里的datax工具大同小异,因此就参照dataEx来介绍。此为Hadoop+java+linux机器搭建的离线数据处理平台的工具。该项目将数据从各个数据源通过api以及动态token的方式用线程池并发处理解析json数据,将数据放入arrayblockingqueue,queue的下游用线程池写入hdfs分布式文件系统,根据时间分区自动映射到hive表中。...
该项目为ssm项目,通过前端点击事件触发增删改查事件将所需参数传入后端,后端通过参数进行业务逻辑处理,并调用mapper的sql命令给数据库,该项目我参与后台开发以及设计文档编写,项目部署linux机器测试上线...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人