Mr.Boredom🏀
大数据工程师
百胜集团 · 6年经验
日薪：
￥700/8h
地点：
上海 闵行
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
01.熟练使用Java、scala开发语言
02.熟练掌握Linux操作和Shell及脚本编写
03.熟练CDH、Ambari、Hadoop生态、Flink、Kyligence、Tableau等组件搭建调优
04.基于PB级别大数据架构搭建及运维开发等工作
02.熟练掌握Linux操作和Shell及脚本编写
03.熟练CDH、Ambari、Hadoop生态、Flink、Kyligence、Tableau等组件搭建调优
04.基于PB级别大数据架构搭建及运维开发等工作
项目经验
开发架构 : ActiveMQ+CDH+Kafka+HBase+Hive +Hadoop+SparkStreaming+ Presto
项目描述 : 该项目为网约车出行 APP,通过用户使用 APP 打车服务,收集相关用户信息,进行大数据的一系列处理,分析,展示,应用等,以此来提高服务质量,产值等等.数据清洗会通过调度平台来处理,处理好的数据,,将会通过Metabase,Grafana 进行展示,报表邮件发送等.
责任描述 : 1.对 Kafka 传过来的实时、离线日志和 Binlog 进行解析入Hive 表或HBase 表
2. 永洪报表平台迁移至 Metabase 和Grafana 平台
3. 开发配置调度系统任务,将数据入仓进行一系列清洗,处理和转换
4. 对 Hive 库数据格式转换,优化提升查询速度(如搭建Presto 集群)
5. HDFS 数据迁移,压缩,Hive 表创建等
项目描述 : 该项目为网约车出行 APP,通过用户使用 APP 打车服务,收集相关用户信息,进行大数据的一系列处理,分析,展示,应用等,以此来提高服务质量,产值等等.数据清洗会通过调度平台来处理,处理好的数据,,将会通过Metabase,Grafana 进行展示,报表邮件发送等.
责任描述 : 1.对 Kafka 传过来的实时、离线日志和 Binlog 进行解析入Hive 表或HBase 表
2. 永洪报表平台迁移至 Metabase 和Grafana 平台
3. 开发配置调度系统任务,将数据入仓进行一系列清洗,处理和转换
4. 对 Hive 库数据格式转换,优化提升查询速度(如搭建Presto 集群)
5. HDFS 数据迁移,压缩,Hive 表创建等
Mr.Boredom🏀
大数据工程师 · 6年经验 · 百胜集团
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
01.熟练使用Java、scala开发语言
02.熟练掌握Linux操作和Shell及脚本编写
03.熟练CDH、Ambari、Hadoop生态、Flink、Kyligence、Tableau等组件搭建调优
04.基于PB级别大数据架构搭建及运维开发等工作
02.熟练掌握Linux操作和Shell及脚本编写
03.熟练CDH、Ambari、Hadoop生态、Flink、Kyligence、Tableau等组件搭建调优
04.基于PB级别大数据架构搭建及运维开发等工作
项目经验
开发架构 : ActiveMQ+CDH+Kafka+HBase+Hive +Hadoop+SparkStreaming+ Presto
项目描述 : 该项目为网约车出行 APP,通过用户使用 APP 打车服务,收集相关用户信息,进行大数据的一系列处理,分析,展示,应用等,以此来提高服务质量,产值等等.数据清洗会通过调度平台来处理,处理好的数据,,将会通过Metabase,Grafana 进行展示,报表邮件发送等.
责任描述 : 1.对 Kafka 传过来的实时、离线日志和 Binlog 进行解析入Hive 表或HBase 表
2. 永洪报表平台迁移至 Metabase 和Grafana 平台
3. 开发配置调度系统任务,将数据入仓进行一系列清洗,处理和转换
4. 对 Hive 库数据格式转换,优化提升查询速度(如搭建Presto 集群)
5. HDFS 数据迁移,压缩,Hive 表创建等
项目描述 : 该项目为网约车出行 APP,通过用户使用 APP 打车服务,收集相关用户信息,进行大数据的一系列处理,分析,展示,应用等,以此来提高服务质量,产值等等.数据清洗会通过调度平台来处理,处理好的数据,,将会通过Metabase,Grafana 进行展示,报表邮件发送等.
责任描述 : 1.对 Kafka 传过来的实时、离线日志和 Binlog 进行解析入Hive 表或HBase 表
2. 永洪报表平台迁移至 Metabase 和Grafana 平台
3. 开发配置调度系统任务,将数据入仓进行一系列清洗,处理和转换
4. 对 Hive 库数据格式转换,优化提升查询速度(如搭建Presto 集群)
5. HDFS 数据迁移,压缩,Hive 表创建等
立即沟通
