负责基于原始GPS数据计算里程数据。使用java语言开发,采用大数据lambda架构,实时处理部分消费kafka数据,使 用Flink进行计算,存入Hbase,保证实时性。离线部分使用Spark计算,读取Hive上的数据,计算结果入Hbase,保证 准确性。 通过dubbo和SpringCould提供数据查询服务。 实现GPS里程查询hbase数据双活,提高了该服务的稳定性。双活前当Hbase集群出现故障可能导致业务接口1到2个小 时处于响应慢,失败率高状态。双活后再次出现Hbase故障,业务不受影响,用户无感知。
负责基于原始GPS数据计算里程数据。使用java语言开发,采用大数据lambda架构,实时处理部分消费kafka数据,使 用Flink进行计算,存入Hbase,保证实时性。离线部分使用Spark计算,读取Hive上的数据,计算结果入Hbase,保证 准确性。 通过dubbo和SpringCould提供数据查询服务。 实现GPS里程查询hbase数据双活,提高了该服务的稳定性。双活前当Hbase集群出现故障可能导致业务接口1到2个小 时处于响应慢,失败率高状态。双活后再次出现Hbase故障,业务不受影响,用户无感知。...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人