ID:210972

Mr.Boredom🏀

大数据工程师

  • 公司信息:
  • 百胜集团
  • 工作经验:
  • 6年
  • 兼职日薪:
  • 700元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 上海
  • 闵行

技术能力

01.熟练使用Java、scala开发语言
02.熟练掌握Linux操作和Shell及脚本编写
03.熟练CDH、Ambari、Hadoop生态、Flink、Kyligence、Tableau等组件搭建调优
04.基于PB级别大数据架构搭建及运维开发等工作

项目经验

开发架构 : ActiveMQ+CDH+Kafka+HBase+Hive +Hadoop+SparkStreaming+ Presto
项目描述 : 该项目为网约车出行 APP,通过用户使用 APP 打车服务,收集相关用户信息,进行大数据的一系列处理,分析,展示,应用等,以此来提高服务质量,产值等等.数据清洗会通过调度平台来处理,处理好的数据,,将会通过Metabase,Grafana 进行展示,报表邮件发送等.
责任描述 : 1.对 Kafka 传过来的实时、离线日志和 Binlog 进行解析入Hive 表或HBase 表
2. 永洪报表平台迁移至 Metabase 和Grafana 平台
3. 开发配置调度系统任务,将数据入仓进行一系列清洗,处理和转换
4. 对 Hive 库数据格式转换,优化提升查询速度(如搭建Presto 集群)
5. HDFS 数据迁移,压缩,Hive 表创建等

案例展示

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服