DragonPortMan
大数据工程师
北京思特奇 · 3年经验
日薪：
￥1000/8h
地点：
杭州 下城
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
掌握java，熟练使用springboot架构，精通后台开发，也可以开发非web程序；
掌握hadoop架构，可做数据离线处理，也可以搭建hadoop集群；
掌握python，可以写srapy；
掌握mysql，mysql数据库的搭建，dump和binlog数据同步，以及脱敏，mysql的存储过程；
掌握hive，熟练使用sqoop导数据，以及对hive的环境搭建，本地搭建，以及remote模式搭建，熟悉udf编程；
熟悉linux，熟练使用shell编程；
掌握hadoop架构，可做数据离线处理，也可以搭建hadoop集群；
掌握python，可以写srapy；
掌握mysql，mysql数据库的搭建，dump和binlog数据同步，以及脱敏，mysql的存储过程；
掌握hive，熟练使用sqoop导数据，以及对hive的环境搭建，本地搭建，以及remote模式搭建，熟悉udf编程；
熟悉linux，熟练使用shell编程；
项目经验
1. 基于springBoot的项目开发
1.1 印刷厂经销存管理系统开发，后台使用springBoot架构开发，由于前台需要手机电脑两端访问，并且项目工期短，就用了Foundation5架构进行开发，后来学习了微信小程序的制作方法；
1.2 非web程序，实现文件处理，对文件数据进行脱敏；
2. mysql
2.1 mysql8.0最新版数据库搭建；
2.2 mysql5.6到mysql8.0的数据库迁移(期间踩过太多的坑了，尤其是只迁移部分表的时候)；
2.3 mysql8.0存储过程；
3. hadoop
3.1 hadoop的高可用(HA)集群搭建，本机利用docker实现，实体机2个namenode节点，9个datanode节点；
3.2 hadoop的mapreduce架构使用，并行计算框架，能快速的处理存在hadoop上分布式存储的文件，而架构也能处理本地文件；
4. hive
4.1 hive环境的搭建，当然是基于hadoop上的搭建；
4.2 利用hive进行数据处理，etl清洗、数据分析(整合宽表，并导出到mysql中，开发页面展示)；
5. linux
5.1 因为自己的机器用的就是linux系统，从ubuntu到linuxMinit，以及搭建hadoop用的centos系统，都是比较熟悉的，并且学过一些操作系统原理；
6. python
6.1 python主要是自己拿来玩，想要实现什么小功能了，用python进行开发，由于第三方库的成熟，所以很快就能实现自己想要的小功能，并且经常回去爬一些电影网站，保持每周看最少一部电影，大学期间因为抢票困难，自己写了一个抢票爬虫，不知道现在还能不能用；
1.1 印刷厂经销存管理系统开发，后台使用springBoot架构开发，由于前台需要手机电脑两端访问，并且项目工期短，就用了Foundation5架构进行开发，后来学习了微信小程序的制作方法；
1.2 非web程序，实现文件处理，对文件数据进行脱敏；
2. mysql
2.1 mysql8.0最新版数据库搭建；
2.2 mysql5.6到mysql8.0的数据库迁移(期间踩过太多的坑了，尤其是只迁移部分表的时候)；
2.3 mysql8.0存储过程；
3. hadoop
3.1 hadoop的高可用(HA)集群搭建，本机利用docker实现，实体机2个namenode节点，9个datanode节点；
3.2 hadoop的mapreduce架构使用，并行计算框架，能快速的处理存在hadoop上分布式存储的文件，而架构也能处理本地文件；
4. hive
4.1 hive环境的搭建，当然是基于hadoop上的搭建；
4.2 利用hive进行数据处理，etl清洗、数据分析(整合宽表，并导出到mysql中，开发页面展示)；
5. linux
5.1 因为自己的机器用的就是linux系统，从ubuntu到linuxMinit，以及搭建hadoop用的centos系统，都是比较熟悉的，并且学过一些操作系统原理；
6. python
6.1 python主要是自己拿来玩，想要实现什么小功能了，用python进行开发，由于第三方库的成熟，所以很快就能实现自己想要的小功能，并且经常回去爬一些电影网站，保持每周看最少一部电影，大学期间因为抢票困难，自己写了一个抢票爬虫，不知道现在还能不能用；
团队情况
整包服务：
WebApp开发运维类开发DBA开发其他开发
负责人：
大数据工程师
团队成员：
产品经理 前端工程师 后端工程师
DragonPortMan
有团队 · 可整包
大数据工程师 · 3年经验 · 北京思特奇
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
掌握java，熟练使用springboot架构，精通后台开发，也可以开发非web程序；
掌握hadoop架构，可做数据离线处理，也可以搭建hadoop集群；
掌握python，可以写srapy；
掌握mysql，mysql数据库的搭建，dump和binlog数据同步，以及脱敏，mysql的存储过程；
掌握hive，熟练使用sqoop导数据，以及对hive的环境搭建，本地搭建，以及remote模式搭建，熟悉udf编程；
熟悉linux，熟练使用shell编程；
掌握hadoop架构，可做数据离线处理，也可以搭建hadoop集群；
掌握python，可以写srapy；
掌握mysql，mysql数据库的搭建，dump和binlog数据同步，以及脱敏，mysql的存储过程；
掌握hive，熟练使用sqoop导数据，以及对hive的环境搭建，本地搭建，以及remote模式搭建，熟悉udf编程；
熟悉linux，熟练使用shell编程；
项目经验
1. 基于springBoot的项目开发
1.1 印刷厂经销存管理系统开发，后台使用springBoot架构开发，由于前台需要手机电脑两端访问，并且项目工期短，就用了Foundation5架构进行开发，后来学习了微信小程序的制作方法；
1.2 非web程序，实现文件处理，对文件数据进行脱敏；
2. mysql
2.1 mysql8.0最新版数据库搭建；
2.2 mysql5.6到mysql8.0的数据库迁移(期间踩过太多的坑了，尤其是只迁移部分表的时候)；
2.3 mysql8.0存储过程；
3. hadoop
3.1 hadoop的高可用(HA)集群搭建，本机利用docker实现，实体机2个namenode节点，9个datanode节点；
3.2 hadoop的mapreduce架构使用，并行计算框架，能快速的处理存在hadoop上分布式存储的文件，而架构也能处理本地文件；
4. hive
4.1 hive环境的搭建，当然是基于hadoop上的搭建；
4.2 利用hive进行数据处理，etl清洗、数据分析(整合宽表，并导出到mysql中，开发页面展示)；
5. linux
5.1 因为自己的机器用的就是linux系统，从ubuntu到linuxMinit，以及搭建hadoop用的centos系统，都是比较熟悉的，并且学过一些操作系统原理；
6. python
6.1 python主要是自己拿来玩，想要实现什么小功能了，用python进行开发，由于第三方库的成熟，所以很快就能实现自己想要的小功能，并且经常回去爬一些电影网站，保持每周看最少一部电影，大学期间因为抢票困难，自己写了一个抢票爬虫，不知道现在还能不能用；
1.1 印刷厂经销存管理系统开发，后台使用springBoot架构开发，由于前台需要手机电脑两端访问，并且项目工期短，就用了Foundation5架构进行开发，后来学习了微信小程序的制作方法；
1.2 非web程序，实现文件处理，对文件数据进行脱敏；
2. mysql
2.1 mysql8.0最新版数据库搭建；
2.2 mysql5.6到mysql8.0的数据库迁移(期间踩过太多的坑了，尤其是只迁移部分表的时候)；
2.3 mysql8.0存储过程；
3. hadoop
3.1 hadoop的高可用(HA)集群搭建，本机利用docker实现，实体机2个namenode节点，9个datanode节点；
3.2 hadoop的mapreduce架构使用，并行计算框架，能快速的处理存在hadoop上分布式存储的文件，而架构也能处理本地文件；
4. hive
4.1 hive环境的搭建，当然是基于hadoop上的搭建；
4.2 利用hive进行数据处理，etl清洗、数据分析(整合宽表，并导出到mysql中，开发页面展示)；
5. linux
5.1 因为自己的机器用的就是linux系统，从ubuntu到linuxMinit，以及搭建hadoop用的centos系统，都是比较熟悉的，并且学过一些操作系统原理；
6. python
6.1 python主要是自己拿来玩，想要实现什么小功能了，用python进行开发，由于第三方库的成熟，所以很快就能实现自己想要的小功能，并且经常回去爬一些电影网站，保持每周看最少一部电影，大学期间因为抢票困难，自己写了一个抢票爬虫，不知道现在还能不能用；
团队情况
服务范围：
团队构成：
负责人(大数据工程师)
|
核心队员：产品经理 ·
前端工程师 ·
后端工程师
立即沟通
