罗亚军
大数据开发 · 5年经验 · 用友
0
累计接单
0
用户评价
1
被收藏
技术能力
大数据行业丰富的开发经验，熟悉主流的存储引擎比如HDFS,HBase,Kudu,Elasticsearch,Alluxio,Parquet等，熟悉主流的计算分析引擎比如Spark，MapReduce，Hive，Impala等，其他诸如消息队列Kafka、Zookeeper也均有实际使用经验。以上组件均有生产使用经验。
项目经验
中国联通自然人项目：
系统架构：
flume + kafka + storm + kudu + hbase + 规则引擎
系统描述：
通过flume将日志文件传输到kafka集群中，storm接收kafka的消息，对数据进行映射以及将数据转化为Json格式。然后解析Json，将符合条件的数据落入kudu或者hbase，有一些数据会通过kafkaBolt发送到kafka里，规则引擎接收这些数据进行规则匹配然后发送到storm里对这些数据落入kudu或者hbase。
负责内容：
主要负责kudu+hbase的技术支持。storm数据落地部分代码的编写。
其他项目：
技术栈：Kafka + SparkStreaming + Kudu + Hbase
系统架构：
flume + kafka + storm + kudu + hbase + 规则引擎
系统描述：
通过flume将日志文件传输到kafka集群中，storm接收kafka的消息，对数据进行映射以及将数据转化为Json格式。然后解析Json，将符合条件的数据落入kudu或者hbase，有一些数据会通过kafkaBolt发送到kafka里，规则引擎接收这些数据进行规则匹配然后发送到storm里对这些数据落入kudu或者hbase。
负责内容：
主要负责kudu+hbase的技术支持。storm数据落地部分代码的编写。
其他项目：
技术栈：Kafka + SparkStreaming + Kudu + Hbase
立即沟通
