doooòooob
大数据开发工程师
咪咕 · 5年经验
日薪：
￥500/8h
地点：
南京 全区
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
hadoop框架
sparkstreaming，sparksql
mongodb，mysql，redis,es，hive
springcloud微服务,springboot
drools规则引擎
flume，kafka
sparkstreaming，sparksql
mongodb，mysql，redis,es，hive
springcloud微服务,springboot
drools规则引擎
flume，kafka
项目经验
通过flume采集服务端业务日志，将消息写入中间件kafka。通过新的flume服务将日志数据写入hive数据库，hive按天分区方便查询。同时spark treaming 实时消费kafka消息，实时统计分析数据。
实时统计任务根据经验模型，分析窗口时间内的业务日志，发现异常操作，并分析得到异常用户，异常设备，异常ip。将分析的结果存入redis以及es。
实时统计任务根据经验模型，分析窗口时间内的业务日志，发现异常操作，并分析得到异常用户，异常设备，异常ip。将分析的结果存入redis以及es。
doooòooob
大数据开发工程师 · 5年经验 · 咪咕
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
hadoop框架
sparkstreaming，sparksql
mongodb，mysql，redis,es，hive
springcloud微服务,springboot
drools规则引擎
flume，kafka
sparkstreaming，sparksql
mongodb，mysql，redis,es，hive
springcloud微服务,springboot
drools规则引擎
flume，kafka
项目经验
通过flume采集服务端业务日志，将消息写入中间件kafka。通过新的flume服务将日志数据写入hive数据库，hive按天分区方便查询。同时spark treaming 实时消费kafka消息，实时统计分析数据。
实时统计任务根据经验模型，分析窗口时间内的业务日志，发现异常操作，并分析得到异常用户，异常设备，异常ip。将分析的结果存入redis以及es。
实时统计任务根据经验模型，分析窗口时间内的业务日志，发现异常操作，并分析得到异常用户，异常设备，异常ip。将分析的结果存入redis以及es。
立即沟通
