ID:140917

DragonPortMan 有团队

大数据工程师

  • 公司信息:
  • 北京思特奇
  • 工作经验:
  • 3年
  • 兼职日薪:
  • 1000元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 杭州
  • 下城

技术能力

掌握java,熟练使用springboot架构,精通后台开发,也可以开发非web程序;
掌握hadoop架构,可做数据离线处理,也可以搭建hadoop集群;
掌握python,可以写srapy;
掌握mysql,mysql数据库的搭建,dump和binlog数据同步,以及脱敏,mysql的存储过程;
掌握hive,熟练使用sqoop导数据,以及对hive的环境搭建,本地搭建,以及remote模式搭建,熟悉udf编程;
熟悉linux,熟练使用shell编程;

项目经验

1. 基于springBoot的项目开发
1.1 印刷厂经销存管理系统开发,后台使用springBoot架构开发,由于前台需要手机电脑两端访问,并且项目工期短,就用了Foundation5架构进行开发,后来学习了微信小程序的制作方法;
1.2 非web程序,实现文件处理,对文件数据进行脱敏;
2. mysql
2.1 mysql8.0最新版数据库搭建;
2.2 mysql5.6到mysql8.0的数据库迁移(期间踩过太多的坑了,尤其是只迁移部分表的时候);
2.3 mysql8.0存储过程;
3. hadoop
3.1 hadoop的高可用(HA)集群搭建,本机利用docker实现,实体机2个namenode节点,9个datanode节点;
3.2 hadoop的mapreduce架构使用,并行计算框架,能快速的处理存在hadoop上分布式存储的文件,而架构也能处理本地文件;
4. hive
4.1 hive环境的搭建,当然是基于hadoop上的搭建;
4.2 利用hive进行数据处理,etl清洗、数据分析(整合宽表,并导出到mysql中,开发页面展示);
5. linux
5.1 因为自己的机器用的就是linux系统,从ubuntu到linuxMinit,以及搭建hadoop用的centos系统,都是比较熟悉的,并且学过一些操作系统原理;
6. python
6.1 python主要是自己拿来玩,想要实现什么小功能了,用python进行开发,由于第三方库的成熟,所以很快就能实现自己想要的小功能,并且经常回去爬一些电影网站,保持每周看最少一部电影,大学期间因为抢票困难,自己写了一个抢票爬虫,不知道现在还能不能用;

团队情况

  • 整包服务: WebApp开发   运维类开发   DBA开发   其他开发   
角色 职位
负责人 大数据工程师
队员 产品经理
队员 前端工程师
队员 后端工程师

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服