刘帅
大数据开发工程师
掌阅科技 · 5年经验
日薪：
￥800/8h
地点：
杭州 全区
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1 熟练掌握java开发
2 熟悉大数据相关技术如hadoop，hive，imapla，hbase , kafka，zookeeper,storm,spark等原理
3 可以针对hbase，imapla，spark，kafka，storm做对应java应用开发，如数据存储服务，实时查询服务，实时分析框架等
4 熟悉大数据分析，离线计算，实时流式分析等
5 熟练掌握java多线程开发，处理多线程高并发情景下需求
6 熟悉shell脚本，熟练掌握日志ETL离线分析技术
7 熟悉前端开发，可以独立完成管理界面
2 熟悉大数据相关技术如hadoop，hive，imapla，hbase , kafka，zookeeper,storm,spark等原理
3 可以针对hbase，imapla，spark，kafka，storm做对应java应用开发，如数据存储服务，实时查询服务，实时分析框架等
4 熟悉大数据分析，离线计算，实时流式分析等
5 熟练掌握java多线程开发，处理多线程高并发情景下需求
6 熟悉shell脚本，熟练掌握日志ETL离线分析技术
7 熟悉前端开发，可以独立完成管理界面
项目经验
风控系统
项目描述：带领团队完成风控系统的框架设计开发，及风险算法模型及实现，系统分为数据统一上报，实时流式计算，定时任务，对外接口服务，离线分析五个部分。
1 数据统一上报 ： 提供dubbo服务，web服务插件及服务端系统，插件可以获取、传递用户的跟踪信息，可以从请求的Header、Parameter、Cookie中获取参数，服务端将跟踪信息发往kafka
2 实时流式处理：多线程集群部署模式实时消费kafka数据，根据自定义规则及指标计算事件风险，并记录完善信息
3 定时任务：系统完成部分数据同步工作，如imapla到mysql，mysql到redis
4 对外接口服务：提供dubbo服务，http服务，对外输出风险信息
5 离线分析：根据实时数据及其他离线数据离线分析完成风险画像风险评分任务
日志接入及分析平台
系统架构：flume+kafka+elasticsearch+storm+hive+syslog-ng+mysql(存储)+ redis（缓存）+hadoop
项目描述：搭建日志接入及分析平台（v2），项目包括flume拓扑网络负责日志收集及汇总并做负载均衡，搭建elasticsearch集群实时日志检索，kafka及storm实时计算统计及数据监控， hadoop做持久化存储业务，hive做业务建模分析统计及离线查询，web日志平台做页面显示及查询
责任描述：
日志接入系统搭建
kafka+storm实时计算开发，web日志平台页面查询
elasticsearch实时日志检索
项目描述：带领团队完成风控系统的框架设计开发，及风险算法模型及实现，系统分为数据统一上报，实时流式计算，定时任务，对外接口服务，离线分析五个部分。
1 数据统一上报 ： 提供dubbo服务，web服务插件及服务端系统，插件可以获取、传递用户的跟踪信息，可以从请求的Header、Parameter、Cookie中获取参数，服务端将跟踪信息发往kafka
2 实时流式处理：多线程集群部署模式实时消费kafka数据，根据自定义规则及指标计算事件风险，并记录完善信息
3 定时任务：系统完成部分数据同步工作，如imapla到mysql，mysql到redis
4 对外接口服务：提供dubbo服务，http服务，对外输出风险信息
5 离线分析：根据实时数据及其他离线数据离线分析完成风险画像风险评分任务
日志接入及分析平台
系统架构：flume+kafka+elasticsearch+storm+hive+syslog-ng+mysql(存储)+ redis（缓存）+hadoop
项目描述：搭建日志接入及分析平台（v2），项目包括flume拓扑网络负责日志收集及汇总并做负载均衡，搭建elasticsearch集群实时日志检索，kafka及storm实时计算统计及数据监控， hadoop做持久化存储业务，hive做业务建模分析统计及离线查询，web日志平台做页面显示及查询
责任描述：
日志接入系统搭建
kafka+storm实时计算开发，web日志平台页面查询
elasticsearch实时日志检索
ID:121398
复制
刘帅
大数据开发工程师 · 5年经验 · 掌阅科技
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1 熟练掌握java开发
2 熟悉大数据相关技术如hadoop，hive，imapla，hbase , kafka，zookeeper,storm,spark等原理
3 可以针对hbase，imapla，spark，kafka，storm做对应java应用开发，如数据存储服务，实时查询服务，实时分析框架等
4 熟悉大数据分析，离线计算，实时流式分析等
5 熟练掌握java多线程开发，处理多线程高并发情景下需求
6 熟悉shell脚本，熟练掌握日志ETL离线分析技术
7 熟悉前端开发，可以独立完成管理界面
2 熟悉大数据相关技术如hadoop，hive，imapla，hbase , kafka，zookeeper,storm,spark等原理
3 可以针对hbase，imapla，spark，kafka，storm做对应java应用开发，如数据存储服务，实时查询服务，实时分析框架等
4 熟悉大数据分析，离线计算，实时流式分析等
5 熟练掌握java多线程开发，处理多线程高并发情景下需求
6 熟悉shell脚本，熟练掌握日志ETL离线分析技术
7 熟悉前端开发，可以独立完成管理界面
项目经验
风控系统
项目描述：带领团队完成风控系统的框架设计开发，及风险算法模型及实现，系统分为数据统一上报，实时流式计算，定时任务，对外接口服务，离线分析五个部分。
1 数据统一上报 ： 提供dubbo服务，web服务插件及服务端系统，插件可以获取、传递用户的跟踪信息，可以从请求的Header、Parameter、Cookie中获取参数，服务端将跟踪信息发往kafka
2 实时流式处理：多线程集群部署模式实时消费kafka数据，根据自定义规则及指标计算事件风险，并记录完善信息
3 定时任务：系统完成部分数据同步工作，如imapla到mysql，mysql到redis
4 对外接口服务：提供dubbo服务，http服务，对外输出风险信息
5 离线分析：根据实时数据及其他离线数据离线分析完成风险画像风险评分任务
日志接入及分析平台
系统架构：flume+kafka+elasticsearch+storm+hive+syslog-ng+mysql(存储)+ redis（缓存）+hadoop
项目描述：搭建日志接入及分析平台（v2），项目包括flume拓扑网络负责日志收集及汇总并做负载均衡，搭建elasticsearch集群实时日志检索，kafka及storm实时计算统计及数据监控， hadoop做持久化存储业务，hive做业务建模分析统计及离线查询，web日志平台做页面显示及查询
责任描述：
日志接入系统搭建
kafka+storm实时计算开发，web日志平台页面查询
elasticsearch实时日志检索
项目描述：带领团队完成风控系统的框架设计开发，及风险算法模型及实现，系统分为数据统一上报，实时流式计算，定时任务，对外接口服务，离线分析五个部分。
1 数据统一上报 ： 提供dubbo服务，web服务插件及服务端系统，插件可以获取、传递用户的跟踪信息，可以从请求的Header、Parameter、Cookie中获取参数，服务端将跟踪信息发往kafka
2 实时流式处理：多线程集群部署模式实时消费kafka数据，根据自定义规则及指标计算事件风险，并记录完善信息
3 定时任务：系统完成部分数据同步工作，如imapla到mysql，mysql到redis
4 对外接口服务：提供dubbo服务，http服务，对外输出风险信息
5 离线分析：根据实时数据及其他离线数据离线分析完成风险画像风险评分任务
日志接入及分析平台
系统架构：flume+kafka+elasticsearch+storm+hive+syslog-ng+mysql(存储)+ redis（缓存）+hadoop
项目描述：搭建日志接入及分析平台（v2），项目包括flume拓扑网络负责日志收集及汇总并做负载均衡，搭建elasticsearch集群实时日志检索，kafka及storm实时计算统计及数据监控， hadoop做持久化存储业务，hive做业务建模分析统计及离线查询，web日志平台做页面显示及查询
责任描述：
日志接入系统搭建
kafka+storm实时计算开发，web日志平台页面查询
elasticsearch实时日志检索
立即沟通
