mr.unknown
大数据开发工程师 · 3年经验 · 苏宁易购
0
累计接单
0
用户评价
0
被收藏
技术能力
熟悉java /python/scala 语言开发
熟悉hadoop/hive/spark/kafka/storm/flink/redis/hbase等分布式计算框架的使用场景并进行开发
熟练使用hadoop的文件存储与读取,mapreduce 编程;hivesql用法、自定义UDF、性能调优；spark 离线任务与sparkStreaming准实时流任务的计算以及性能优化、原子变量、广播变量、二次排序的用法; kafka 结合实时流计算框架实现消息事务的一次语义；storm、flink的容错、窗口函数、操作状态等用法；redis 的事务、批量操作、lua使用；hbase 实现快速的存储于数据读取、hbase结合solr实现二级索引。
熟知java web开发
熟悉hadoop/hive/spark/kafka/storm/flink/redis/hbase等分布式计算框架的使用场景并进行开发
熟练使用hadoop的文件存储与读取,mapreduce 编程;hivesql用法、自定义UDF、性能调优；spark 离线任务与sparkStreaming准实时流任务的计算以及性能优化、原子变量、广播变量、二次排序的用法; kafka 结合实时流计算框架实现消息事务的一次语义；storm、flink的容错、窗口函数、操作状态等用法；redis 的事务、批量操作、lua使用；hbase 实现快速的存储于数据读取、hbase结合solr实现二级索引。
熟知java web开发
项目经验
一、广告指标分析
1. 分析广告不同纬度PV、UV、新UV、SPV_UV、一跳率、落地页PV、商详页UV等指标
2. 分析广告不同纬度的成交订单、提交订单的订单量与金额
3.实时统计与分析广告在不同维度上的点击与花费情况
二、实时交易地图
实时分析某银行在某个区域内的交易金额与交易量，按照总交易量、区域交易量、最近两年的交易量维度进行统计，
并且在前台动态展示
三、百亿级数据快速查询
针对银行不同的交易流水制定的查询方案，离线数据分析之后的结果达到上百维度、数据量达到百亿，需要根据不同条件整合查询，能够在100毫秒内得到结果的处理方案
1. 分析广告不同纬度PV、UV、新UV、SPV_UV、一跳率、落地页PV、商详页UV等指标
2. 分析广告不同纬度的成交订单、提交订单的订单量与金额
3.实时统计与分析广告在不同维度上的点击与花费情况
二、实时交易地图
实时分析某银行在某个区域内的交易金额与交易量，按照总交易量、区域交易量、最近两年的交易量维度进行统计，
并且在前台动态展示
三、百亿级数据快速查询
针对银行不同的交易流水制定的查询方案，离线数据分析之后的结果达到上百维度、数据量达到百亿，需要根据不同条件整合查询，能够在100毫秒内得到结果的处理方案
立即沟通
