三人行
大数据开发工程师
韵达公司 · 5年经验
日薪：
￥500/8h
地点：
上海 闵行
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.擅长基于Hive与Hadoop，进行数据建模、数据ETL任务开发；
2.熟悉Hadoop（HDFS、Mapreduce、Hbase）/Spark/Kylin/Kettle/Sqoop/Flume/等技术；
3.具有linux下的开发经验，熟悉shell等脚本开发能力，有面向对象的设计能力；
4.熟悉传统关系数据库、数据仓库技术，熟悉数据预处理技术等；
5.有日志、运维数据分析基础；
6.熟悉Hadoop生态环境，熟练使用MapReduce、Spark提供的API编程；
7.熟悉SpringMVC, SpringBoot、 Ibatis等开源框架；
2.熟悉Hadoop（HDFS、Mapreduce、Hbase）/Spark/Kylin/Kettle/Sqoop/Flume/等技术；
3.具有linux下的开发经验，熟悉shell等脚本开发能力，有面向对象的设计能力；
4.熟悉传统关系数据库、数据仓库技术，熟悉数据预处理技术等；
5.有日志、运维数据分析基础；
6.熟悉Hadoop生态环境，熟练使用MapReduce、Spark提供的API编程；
7.熟悉SpringMVC, SpringBoot、 Ibatis等开源框架；
项目经验
士兵画像分析系统
硬件环境：Windows+linux 软件环境：spark+hive+flink+zookeeper+flume+kafka
责任描述
数据清洗：士兵感应器和机械数据采集器会传输重复数据，需要将重复垃圾数据剔除
标签建立：通过对数据的归纳总结，对士兵进行画像描述
项目描述： 系统通过士兵传感器和机械数据采集器将演戏数据推送到指定数据库，然后通过清洗将数据导入到数仓中，通过士兵模拟考核数据和射击完成考核数据，给士兵贴上标签，供首长参考使用
实现技术
数据采集：由士兵传感器和机械数据采集器推送数据获取
数据分析：通过前台hive模型进行数据清洗，使用hiveSQL进行数据分析，将分析结果返回到指定数据库中
硬件环境：Windows+linux 软件环境：spark+hive+flink+zookeeper+flume+kafka
责任描述
数据清洗：士兵感应器和机械数据采集器会传输重复数据，需要将重复垃圾数据剔除
标签建立：通过对数据的归纳总结，对士兵进行画像描述
项目描述： 系统通过士兵传感器和机械数据采集器将演戏数据推送到指定数据库，然后通过清洗将数据导入到数仓中，通过士兵模拟考核数据和射击完成考核数据，给士兵贴上标签，供首长参考使用
实现技术
数据采集：由士兵传感器和机械数据采集器推送数据获取
数据分析：通过前台hive模型进行数据清洗，使用hiveSQL进行数据分析，将分析结果返回到指定数据库中
三人行
大数据开发工程师 · 5年经验 · 韵达公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.擅长基于Hive与Hadoop，进行数据建模、数据ETL任务开发；
2.熟悉Hadoop（HDFS、Mapreduce、Hbase）/Spark/Kylin/Kettle/Sqoop/Flume/等技术；
3.具有linux下的开发经验，熟悉shell等脚本开发能力，有面向对象的设计能力；
4.熟悉传统关系数据库、数据仓库技术，熟悉数据预处理技术等；
5.有日志、运维数据分析基础；
6.熟悉Hadoop生态环境，熟练使用MapReduce、Spark提供的API编程；
7.熟悉SpringMVC, SpringBoot、 Ibatis等开源框架；
2.熟悉Hadoop（HDFS、Mapreduce、Hbase）/Spark/Kylin/Kettle/Sqoop/Flume/等技术；
3.具有linux下的开发经验，熟悉shell等脚本开发能力，有面向对象的设计能力；
4.熟悉传统关系数据库、数据仓库技术，熟悉数据预处理技术等；
5.有日志、运维数据分析基础；
6.熟悉Hadoop生态环境，熟练使用MapReduce、Spark提供的API编程；
7.熟悉SpringMVC, SpringBoot、 Ibatis等开源框架；
项目经验
士兵画像分析系统
硬件环境：Windows+linux 软件环境：spark+hive+flink+zookeeper+flume+kafka
责任描述
数据清洗：士兵感应器和机械数据采集器会传输重复数据，需要将重复垃圾数据剔除
标签建立：通过对数据的归纳总结，对士兵进行画像描述
项目描述： 系统通过士兵传感器和机械数据采集器将演戏数据推送到指定数据库，然后通过清洗将数据导入到数仓中，通过士兵模拟考核数据和射击完成考核数据，给士兵贴上标签，供首长参考使用
实现技术
数据采集：由士兵传感器和机械数据采集器推送数据获取
数据分析：通过前台hive模型进行数据清洗，使用hiveSQL进行数据分析，将分析结果返回到指定数据库中
硬件环境：Windows+linux 软件环境：spark+hive+flink+zookeeper+flume+kafka
责任描述
数据清洗：士兵感应器和机械数据采集器会传输重复数据，需要将重复垃圾数据剔除
标签建立：通过对数据的归纳总结，对士兵进行画像描述
项目描述： 系统通过士兵传感器和机械数据采集器将演戏数据推送到指定数据库，然后通过清洗将数据导入到数仓中，通过士兵模拟考核数据和射击完成考核数据，给士兵贴上标签，供首长参考使用
实现技术
数据采集：由士兵传感器和机械数据采集器推送数据获取
数据分析：通过前台hive模型进行数据清洗，使用hiveSQL进行数据分析，将分析结果返回到指定数据库中
立即沟通
