、
大数据工程师
上海欧点云科技 · 1年经验
日薪：
￥500/8h
地点：
北京 昌平
时间：
周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、熟练使用 Java 语言，进行大数据开发，熟悉多线程，JVM 及垃圾回收机制。
2、熟练使用 Scala 语言，实现 SparkCore、Spark Sql、Spark Streaming 开发。
3、熟练使用 SQL 和 HQL，完成基于 Hive 数据的分析。
4、熟练使用 Linux 命令，能够进行 Shell 脚本的开发。
5、熟悉 MR 中 shuffle 运行原理，并能够使用 MR 进行业务开发熟悉 Yarn 中的资源调度过程和
Hadoop 相关组件及 Hadoop 高可用的搭建。
6、熟练使用 Hive 对分布在不同层次的海量数据做分析处理，能够对 Hive 进行调优。
7、熟练掌握 Spark，深入理解 Spark 工作机制，能够对 Spark 进行调优。
8、熟悉 Kafka 消息系统的工作机制以及 kafka 集群部署。
9、熟悉 Zookeeper 的架构，运行原理能为集群提供协调服务。
10、熟练使用 Flume、Sqoop、Datax 进行数据同步。
12、熟悉 Hbase 存储架构和 Phoenix 整合使用。
13、熟悉 Mysql 数据库，熟练编写 Sql 语句。
14、熟悉 Redis 的数据类型以及常规操作，了解 Redis 的持久化和主从配置。
2、熟练使用 Scala 语言，实现 SparkCore、Spark Sql、Spark Streaming 开发。
3、熟练使用 SQL 和 HQL，完成基于 Hive 数据的分析。
4、熟练使用 Linux 命令，能够进行 Shell 脚本的开发。
5、熟悉 MR 中 shuffle 运行原理，并能够使用 MR 进行业务开发熟悉 Yarn 中的资源调度过程和
Hadoop 相关组件及 Hadoop 高可用的搭建。
6、熟练使用 Hive 对分布在不同层次的海量数据做分析处理，能够对 Hive 进行调优。
7、熟练掌握 Spark，深入理解 Spark 工作机制，能够对 Spark 进行调优。
8、熟悉 Kafka 消息系统的工作机制以及 kafka 集群部署。
9、熟悉 Zookeeper 的架构，运行原理能为集群提供协调服务。
10、熟练使用 Flume、Sqoop、Datax 进行数据同步。
12、熟悉 Hbase 存储架构和 Phoenix 整合使用。
13、熟悉 Mysql 数据库，熟练编写 Sql 语句。
14、熟悉 Redis 的数据类型以及常规操作，了解 Redis 的持久化和主从配置。
项目经验
1.负责大数据平台搭建与维护，保障大数据平台正常运行和各个环节开发人员的正常使用。
2.参与部分静态数据获取与清洗，为下游系统提供数据支撑和接口
3.参与实时数据采集与处理应用程序的开发，参与能耗公式内存应用程序的开发
4.参与前端应用层平台搭建javaweb系统，为数据分析实现可视化展现
2.参与部分静态数据获取与清洗，为下游系统提供数据支撑和接口
3.参与实时数据采集与处理应用程序的开发，参与能耗公式内存应用程序的开发
4.参与前端应用层平台搭建javaweb系统，为数据分析实现可视化展现
、
大数据工程师 · 1年经验 · 上海欧点云科技
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、熟练使用 Java 语言，进行大数据开发，熟悉多线程，JVM 及垃圾回收机制。
2、熟练使用 Scala 语言，实现 SparkCore、Spark Sql、Spark Streaming 开发。
3、熟练使用 SQL 和 HQL，完成基于 Hive 数据的分析。
4、熟练使用 Linux 命令，能够进行 Shell 脚本的开发。
5、熟悉 MR 中 shuffle 运行原理，并能够使用 MR 进行业务开发熟悉 Yarn 中的资源调度过程和
Hadoop 相关组件及 Hadoop 高可用的搭建。
6、熟练使用 Hive 对分布在不同层次的海量数据做分析处理，能够对 Hive 进行调优。
7、熟练掌握 Spark，深入理解 Spark 工作机制，能够对 Spark 进行调优。
8、熟悉 Kafka 消息系统的工作机制以及 kafka 集群部署。
9、熟悉 Zookeeper 的架构，运行原理能为集群提供协调服务。
10、熟练使用 Flume、Sqoop、Datax 进行数据同步。
12、熟悉 Hbase 存储架构和 Phoenix 整合使用。
13、熟悉 Mysql 数据库，熟练编写 Sql 语句。
14、熟悉 Redis 的数据类型以及常规操作，了解 Redis 的持久化和主从配置。
2、熟练使用 Scala 语言，实现 SparkCore、Spark Sql、Spark Streaming 开发。
3、熟练使用 SQL 和 HQL，完成基于 Hive 数据的分析。
4、熟练使用 Linux 命令，能够进行 Shell 脚本的开发。
5、熟悉 MR 中 shuffle 运行原理，并能够使用 MR 进行业务开发熟悉 Yarn 中的资源调度过程和
Hadoop 相关组件及 Hadoop 高可用的搭建。
6、熟练使用 Hive 对分布在不同层次的海量数据做分析处理，能够对 Hive 进行调优。
7、熟练掌握 Spark，深入理解 Spark 工作机制，能够对 Spark 进行调优。
8、熟悉 Kafka 消息系统的工作机制以及 kafka 集群部署。
9、熟悉 Zookeeper 的架构，运行原理能为集群提供协调服务。
10、熟练使用 Flume、Sqoop、Datax 进行数据同步。
12、熟悉 Hbase 存储架构和 Phoenix 整合使用。
13、熟悉 Mysql 数据库，熟练编写 Sql 语句。
14、熟悉 Redis 的数据类型以及常规操作，了解 Redis 的持久化和主从配置。
项目经验
1.负责大数据平台搭建与维护，保障大数据平台正常运行和各个环节开发人员的正常使用。
2.参与部分静态数据获取与清洗，为下游系统提供数据支撑和接口
3.参与实时数据采集与处理应用程序的开发，参与能耗公式内存应用程序的开发
4.参与前端应用层平台搭建javaweb系统，为数据分析实现可视化展现
2.参与部分静态数据获取与清洗，为下游系统提供数据支撑和接口
3.参与实时数据采集与处理应用程序的开发，参与能耗公式内存应用程序的开发
4.参与前端应用层平台搭建javaweb系统，为数据分析实现可视化展现
立即沟通
