小怪兽
基础平台组组长
云集微店 · 5年经验
日薪：
￥800/8h
地点：
深圳 宝安
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.熟练Mysql、Oracle、DB2等关系型数据库，SSH、MiniDao、MyBatis等Java应用框架。
2.熟悉Zookeeper、kafka集群环境的搭建和使用以及相应kafka监控工具的使用,熟悉kafka生成者java api开发
3.熟悉mongo,redis等nosql的开发使用。
4. 熟练使用Spark大数据框架编程，熟练使用Spark Streaming、Spark Sql，了解Spark内核，有spark调优经验。
5. 熟悉hadoop生态系统各个组件如Flume，Oozie，Hue，Sqoop，camus大数据协作框架，熟悉Hbase架构，Hbase 的开发及维护，以及hbase相关的读写优化，jvm优化。
6. 熟练Hive开发及相关调优，了解shell编程及linux基本命令。
2.熟悉Zookeeper、kafka集群环境的搭建和使用以及相应kafka监控工具的使用,熟悉kafka生成者java api开发
3.熟悉mongo,redis等nosql的开发使用。
4. 熟练使用Spark大数据框架编程，熟练使用Spark Streaming、Spark Sql，了解Spark内核，有spark调优经验。
5. 熟悉hadoop生态系统各个组件如Flume，Oozie，Hue，Sqoop，camus大数据协作框架，熟悉Hbase架构，Hbase 的开发及维护，以及hbase相关的读写优化，jvm优化。
6. 熟练Hive开发及相关调优，了解shell编程及linux基本命令。
项目经验
项目职务： 项目负责人
所在公司： 浙江集商网络科技有限公司
项目描述： 实时同步业务需要的mysql binlog数据到kafka，消费kafka数据实时写入kudu，并对kudu数据使用datav大屏通过impala sql查询并将结果数据写入mysql，对数据进行分钟级更新；在hive数仓建立rods实时层，使用impala sql供分析产品及etl人员实时分析数据
项目职责： 1.预研及确定数据方案架构
2.搭建mysql binlog同步工具canal实时同步
3.搭建kudu集群并优化及相应监控，开发kudu crud代码并对性能进行压力测试
4.开发数据计算及结果数据同步代码
涉及计算:hue、impala、kudu、springboot、canal、kafka、dataV
所在公司： 浙江集商网络科技有限公司
项目描述： 实时同步业务需要的mysql binlog数据到kafka，消费kafka数据实时写入kudu，并对kudu数据使用datav大屏通过impala sql查询并将结果数据写入mysql，对数据进行分钟级更新；在hive数仓建立rods实时层，使用impala sql供分析产品及etl人员实时分析数据
项目职责： 1.预研及确定数据方案架构
2.搭建mysql binlog同步工具canal实时同步
3.搭建kudu集群并优化及相应监控，开发kudu crud代码并对性能进行压力测试
4.开发数据计算及结果数据同步代码
涉及计算:hue、impala、kudu、springboot、canal、kafka、dataV
团队情况
整包服务：
文档原型图
负责人：
基础平台组组长
团队成员：
前端工程师
小怪兽
有团队 · 可整包
基础平台组组长 · 5年经验 · 云集微店
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.熟练Mysql、Oracle、DB2等关系型数据库，SSH、MiniDao、MyBatis等Java应用框架。
2.熟悉Zookeeper、kafka集群环境的搭建和使用以及相应kafka监控工具的使用,熟悉kafka生成者java api开发
3.熟悉mongo,redis等nosql的开发使用。
4. 熟练使用Spark大数据框架编程，熟练使用Spark Streaming、Spark Sql，了解Spark内核，有spark调优经验。
5. 熟悉hadoop生态系统各个组件如Flume，Oozie，Hue，Sqoop，camus大数据协作框架，熟悉Hbase架构，Hbase 的开发及维护，以及hbase相关的读写优化，jvm优化。
6. 熟练Hive开发及相关调优，了解shell编程及linux基本命令。
2.熟悉Zookeeper、kafka集群环境的搭建和使用以及相应kafka监控工具的使用,熟悉kafka生成者java api开发
3.熟悉mongo,redis等nosql的开发使用。
4. 熟练使用Spark大数据框架编程，熟练使用Spark Streaming、Spark Sql，了解Spark内核，有spark调优经验。
5. 熟悉hadoop生态系统各个组件如Flume，Oozie，Hue，Sqoop，camus大数据协作框架，熟悉Hbase架构，Hbase 的开发及维护，以及hbase相关的读写优化，jvm优化。
6. 熟练Hive开发及相关调优，了解shell编程及linux基本命令。
项目经验
项目职务： 项目负责人
所在公司： 浙江集商网络科技有限公司
项目描述： 实时同步业务需要的mysql binlog数据到kafka，消费kafka数据实时写入kudu，并对kudu数据使用datav大屏通过impala sql查询并将结果数据写入mysql，对数据进行分钟级更新；在hive数仓建立rods实时层，使用impala sql供分析产品及etl人员实时分析数据
项目职责： 1.预研及确定数据方案架构
2.搭建mysql binlog同步工具canal实时同步
3.搭建kudu集群并优化及相应监控，开发kudu crud代码并对性能进行压力测试
4.开发数据计算及结果数据同步代码
涉及计算:hue、impala、kudu、springboot、canal、kafka、dataV
所在公司： 浙江集商网络科技有限公司
项目描述： 实时同步业务需要的mysql binlog数据到kafka，消费kafka数据实时写入kudu，并对kudu数据使用datav大屏通过impala sql查询并将结果数据写入mysql，对数据进行分钟级更新；在hive数仓建立rods实时层，使用impala sql供分析产品及etl人员实时分析数据
项目职责： 1.预研及确定数据方案架构
2.搭建mysql binlog同步工具canal实时同步
3.搭建kudu集群并优化及相应监控，开发kudu crud代码并对性能进行压力测试
4.开发数据计算及结果数据同步代码
涉及计算:hue、impala、kudu、springboot、canal、kafka、dataV
团队情况
服务范围：
团队构成：
负责人(基础平台组组长)
|
核心队员：前端工程师
立即沟通
