後來
大数据开发工程师
信雅达（杭州）计算机服务有限公司 · 3年经验
日薪：
￥500/8h
地点：
北京 朝阳
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
精通Java开发，熟练的使用javae
熟悉Hadoop2.x框架，能够搭建集群环境，并且解决相关问题，有优化mapreduce、hive的经验。
熟悉数据的ETL 实现过程，以及Hivesql的编写。
掌握Kafka相关原理，能够使用Kafka相关的api构建轻量级实时流数据应用。
掌握实时处理框架Storm，能够简单的使用Storm。
熟练scala编程，掌握spark.0 core 、spark sql 、spark streaming 。能够根据业务完成基于spark 的任务开发，以及spark 与 外部系统，例如 Mysql 、Spark on Hive 等衔接工作。
了解Sqoop框架，能够使用Sqoop对数据和数据库之间进行出导入导出。
能够使用SSM框架技术进行项目开发。
能够使用基本的shell命令，能够编写基本的shell脚本。
能够使用Maven、GIT、idea、eclipse等应用软件。
了解Hbase的相关原理以及使用。
了解Flume日志数据收集框架，能够根据业务需求对配置文件进行相应的修改，满足业务需求。
了解Redis，能够搭建Redis 3.0集群，了解redis常用的shell命令以及不同数据结构的应用场景。
了解Zookeeper的运行机制，能够搭建zk集群，了解基于zookeeper的特性的典型应用。
熟悉Hadoop2.x框架，能够搭建集群环境，并且解决相关问题，有优化mapreduce、hive的经验。
熟悉数据的ETL 实现过程，以及Hivesql的编写。
掌握Kafka相关原理，能够使用Kafka相关的api构建轻量级实时流数据应用。
掌握实时处理框架Storm，能够简单的使用Storm。
熟练scala编程，掌握spark.0 core 、spark sql 、spark streaming 。能够根据业务完成基于spark 的任务开发，以及spark 与 外部系统，例如 Mysql 、Spark on Hive 等衔接工作。
了解Sqoop框架，能够使用Sqoop对数据和数据库之间进行出导入导出。
能够使用SSM框架技术进行项目开发。
能够使用基本的shell命令，能够编写基本的shell脚本。
能够使用Maven、GIT、idea、eclipse等应用软件。
了解Hbase的相关原理以及使用。
了解Flume日志数据收集框架，能够根据业务需求对配置文件进行相应的修改，满足业务需求。
了解Redis，能够搭建Redis 3.0集群，了解redis常用的shell命令以及不同数据结构的应用场景。
了解Zookeeper的运行机制，能够搭建zk集群，了解基于zookeeper的特性的典型应用。
项目经验
【1】综合视讯平台数据处理
项目描述
架构：前端主要使用html+css+vue.js+layui+bootstrap+echart
后端主要使用springMVC+Spring+Mybatis+shiro+mysql
数据处理主要使用spark计算+hadoop存储+flume-ng+sqoop
该项目主要是为学校提供直播互动平台，为学生提供学习的平台，为教师和教研员提供更便捷的评教途径，监控学生的学习情况，辅助管控教学质量。
主要模块：直播模块，点播模块，资源模块，设备管理模块，新闻模块，在线考试模块，后台管理，数据中心模块。
项目职责
1、参与需求讨论及系统实施方案设计
2、设备使用统计分析
3、学生活跃度统计分析
4、教研评教的分析统计
5、教师上课的一些情况统计分析
6、处理的数据进行前台图标展示
7、考试试卷的存储
8、数据处理的技术选型，版本选择等
【2】巨杉数据库集群统计分析
项目描述
架构：spring+springmvc+巨杉数据库集群+echart
该项目为民生银行的巨杉数据库集群做一个web访问页面，能够更直观清晰的看出来集群的运行状况，能够更好地做出集群的规划和管理。
主要模块：整体数据，记录数统计，物理集群架构，数据字典，申请表提交
，接入系统查询，同步表数据。
项目职责
1、 参与需求讨论及系统实施方案设计。
2、数据库的设计
3、接口设计
4、测试集群的搭建，和测试数据的导入。
5、dao层的封装和单例数据连接池的实现。
【3】民生银行文件共享平台
项目描述
架构：Cdh5,spring,ibatis,oracle,lucene,flex,juery
文档管理与分析系统主要将企业各部门各时间段积累的工作总结，系统日志，专业文献、技术资料、公司制度等各种文档进行分类管理。该平台主要包含以下功能：文档上传、文档下载、格式转换、索引生成、文档分类管理、在线浏览、全文检索、权限管理、Hadoop集群系统进程管理、系统日志管理、热门文档等。
项目职责
1、文件的上传与格式的转化
2、集群状态监控
3、文件的存储与转换
4、日志文件的查看（rpc调用）
5、文件下载和预览
项目描述
架构：前端主要使用html+css+vue.js+layui+bootstrap+echart
后端主要使用springMVC+Spring+Mybatis+shiro+mysql
数据处理主要使用spark计算+hadoop存储+flume-ng+sqoop
该项目主要是为学校提供直播互动平台，为学生提供学习的平台，为教师和教研员提供更便捷的评教途径，监控学生的学习情况，辅助管控教学质量。
主要模块：直播模块，点播模块，资源模块，设备管理模块，新闻模块，在线考试模块，后台管理，数据中心模块。
项目职责
1、参与需求讨论及系统实施方案设计
2、设备使用统计分析
3、学生活跃度统计分析
4、教研评教的分析统计
5、教师上课的一些情况统计分析
6、处理的数据进行前台图标展示
7、考试试卷的存储
8、数据处理的技术选型，版本选择等
【2】巨杉数据库集群统计分析
项目描述
架构：spring+springmvc+巨杉数据库集群+echart
该项目为民生银行的巨杉数据库集群做一个web访问页面，能够更直观清晰的看出来集群的运行状况，能够更好地做出集群的规划和管理。
主要模块：整体数据，记录数统计，物理集群架构，数据字典，申请表提交
，接入系统查询，同步表数据。
项目职责
1、 参与需求讨论及系统实施方案设计。
2、数据库的设计
3、接口设计
4、测试集群的搭建，和测试数据的导入。
5、dao层的封装和单例数据连接池的实现。
【3】民生银行文件共享平台
项目描述
架构：Cdh5,spring,ibatis,oracle,lucene,flex,juery
文档管理与分析系统主要将企业各部门各时间段积累的工作总结，系统日志，专业文献、技术资料、公司制度等各种文档进行分类管理。该平台主要包含以下功能：文档上传、文档下载、格式转换、索引生成、文档分类管理、在线浏览、全文检索、权限管理、Hadoop集群系统进程管理、系统日志管理、热门文档等。
项目职责
1、文件的上传与格式的转化
2、集群状态监控
3、文件的存储与转换
4、日志文件的查看（rpc调用）
5、文件下载和预览
後來
大数据开发工程师 · 3年经验 · 信雅达（杭州）计算机服务有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
精通Java开发，熟练的使用javae
熟悉Hadoop2.x框架，能够搭建集群环境，并且解决相关问题，有优化mapreduce、hive的经验。
熟悉数据的ETL 实现过程，以及Hivesql的编写。
掌握Kafka相关原理，能够使用Kafka相关的api构建轻量级实时流数据应用。
掌握实时处理框架Storm，能够简单的使用Storm。
熟练scala编程，掌握spark.0 core 、spark sql 、spark streaming 。能够根据业务完成基于spark 的任务开发，以及spark 与 外部系统，例如 Mysql 、Spark on Hive 等衔接工作。
了解Sqoop框架，能够使用Sqoop对数据和数据库之间进行出导入导出。
能够使用SSM框架技术进行项目开发。
能够使用基本的shell命令，能够编写基本的shell脚本。
能够使用Maven、GIT、idea、eclipse等应用软件。
了解Hbase的相关原理以及使用。
了解Flume日志数据收集框架，能够根据业务需求对配置文件进行相应的修改，满足业务需求。
了解Redis，能够搭建Redis 3.0集群，了解redis常用的shell命令以及不同数据结构的应用场景。
了解Zookeeper的运行机制，能够搭建zk集群，了解基于zookeeper的特性的典型应用。
熟悉Hadoop2.x框架，能够搭建集群环境，并且解决相关问题，有优化mapreduce、hive的经验。
熟悉数据的ETL 实现过程，以及Hivesql的编写。
掌握Kafka相关原理，能够使用Kafka相关的api构建轻量级实时流数据应用。
掌握实时处理框架Storm，能够简单的使用Storm。
熟练scala编程，掌握spark.0 core 、spark sql 、spark streaming 。能够根据业务完成基于spark 的任务开发，以及spark 与 外部系统，例如 Mysql 、Spark on Hive 等衔接工作。
了解Sqoop框架，能够使用Sqoop对数据和数据库之间进行出导入导出。
能够使用SSM框架技术进行项目开发。
能够使用基本的shell命令，能够编写基本的shell脚本。
能够使用Maven、GIT、idea、eclipse等应用软件。
了解Hbase的相关原理以及使用。
了解Flume日志数据收集框架，能够根据业务需求对配置文件进行相应的修改，满足业务需求。
了解Redis，能够搭建Redis 3.0集群，了解redis常用的shell命令以及不同数据结构的应用场景。
了解Zookeeper的运行机制，能够搭建zk集群，了解基于zookeeper的特性的典型应用。
项目经验
【1】综合视讯平台数据处理
项目描述
架构：前端主要使用html+css+vue.js+layui+bootstrap+echart
后端主要使用springMVC+Spring+Mybatis+shiro+mysql
数据处理主要使用spark计算+hadoop存储+flume-ng+sqoop
该项目主要是为学校提供直播互动平台，为学生提供学习的平台，为教师和教研员提供更便捷的评教途径，监控学生的学习情况，辅助管控教学质量。
主要模块：直播模块，点播模块，资源模块，设备管理模块，新闻模块，在线考试模块，后台管理，数据中心模块。
项目职责
1、参与需求讨论及系统实施方案设计
2、设备使用统计分析
3、学生活跃度统计分析
4、教研评教的分析统计
5、教师上课的一些情况统计分析
6、处理的数据进行前台图标展示
7、考试试卷的存储
8、数据处理的技术选型，版本选择等
【2】巨杉数据库集群统计分析
项目描述
架构：spring+springmvc+巨杉数据库集群+echart
该项目为民生银行的巨杉数据库集群做一个web访问页面，能够更直观清晰的看出来集群的运行状况，能够更好地做出集群的规划和管理。
主要模块：整体数据，记录数统计，物理集群架构，数据字典，申请表提交
，接入系统查询，同步表数据。
项目职责
1、 参与需求讨论及系统实施方案设计。
2、数据库的设计
3、接口设计
4、测试集群的搭建，和测试数据的导入。
5、dao层的封装和单例数据连接池的实现。
【3】民生银行文件共享平台
项目描述
架构：Cdh5,spring,ibatis,oracle,lucene,flex,juery
文档管理与分析系统主要将企业各部门各时间段积累的工作总结，系统日志，专业文献、技术资料、公司制度等各种文档进行分类管理。该平台主要包含以下功能：文档上传、文档下载、格式转换、索引生成、文档分类管理、在线浏览、全文检索、权限管理、Hadoop集群系统进程管理、系统日志管理、热门文档等。
项目职责
1、文件的上传与格式的转化
2、集群状态监控
3、文件的存储与转换
4、日志文件的查看（rpc调用）
5、文件下载和预览
项目描述
架构：前端主要使用html+css+vue.js+layui+bootstrap+echart
后端主要使用springMVC+Spring+Mybatis+shiro+mysql
数据处理主要使用spark计算+hadoop存储+flume-ng+sqoop
该项目主要是为学校提供直播互动平台，为学生提供学习的平台，为教师和教研员提供更便捷的评教途径，监控学生的学习情况，辅助管控教学质量。
主要模块：直播模块，点播模块，资源模块，设备管理模块，新闻模块，在线考试模块，后台管理，数据中心模块。
项目职责
1、参与需求讨论及系统实施方案设计
2、设备使用统计分析
3、学生活跃度统计分析
4、教研评教的分析统计
5、教师上课的一些情况统计分析
6、处理的数据进行前台图标展示
7、考试试卷的存储
8、数据处理的技术选型，版本选择等
【2】巨杉数据库集群统计分析
项目描述
架构：spring+springmvc+巨杉数据库集群+echart
该项目为民生银行的巨杉数据库集群做一个web访问页面，能够更直观清晰的看出来集群的运行状况，能够更好地做出集群的规划和管理。
主要模块：整体数据，记录数统计，物理集群架构，数据字典，申请表提交
，接入系统查询，同步表数据。
项目职责
1、 参与需求讨论及系统实施方案设计。
2、数据库的设计
3、接口设计
4、测试集群的搭建，和测试数据的导入。
5、dao层的封装和单例数据连接池的实现。
【3】民生银行文件共享平台
项目描述
架构：Cdh5,spring,ibatis,oracle,lucene,flex,juery
文档管理与分析系统主要将企业各部门各时间段积累的工作总结，系统日志，专业文献、技术资料、公司制度等各种文档进行分类管理。该平台主要包含以下功能：文档上传、文档下载、格式转换、索引生成、文档分类管理、在线浏览、全文检索、权限管理、Hadoop集群系统进程管理、系统日志管理、热门文档等。
项目职责
1、文件的上传与格式的转化
2、集群状态监控
3、文件的存储与转换
4、日志文件的查看（rpc调用）
5、文件下载和预览
立即沟通
