ID：181518
TiAmo
Spark开发工程师
- 公司信息：
- 上海宝金信息科技有限公司
- 工作经验：
- 3年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 周六
- 周日
- 所在区域：
- 北京
- 海淀
技术能力
1.熟练使用 Java、Scala 编程语言
2.掌握 Linux 操作系统，
3.熟练操作 Hadoop 的分布式文件系统，深入理解 MapReduce 原理
4.熟练掌握 Hive 的工作原理，以及 Hive 调优
5.熟练掌握 Flume 数据采集工具的原理，实现流式数据过滤和分析
6.熟悉 HBase 的底层的储存机制和存储原理
7.熟悉 Kafka 工作机制、生产者消费者功能、Kafka 部署
8.熟练使用 Spark Streaming、Spark Core、Spark SQL 的使用及调优
9.掌握 MySQL 数据库基本原理
项目经验
股票数据分析系统：
通过历史数据和线下实际情况相结合，将日期、股票代码、股票名称、股票当天开盘价、股票当天收盘价等等进行收集，并且对其进行剖析，得出分析结果。
1.通过 flume 对多数据源的数据进行实时采集,发送到 kafka 信息中间件中。
2.Kafka 把数据发送到 SparkStreaming，将实时接受的数据通过解析， Spark 函对数据进行清洗，加载。
3.将解析数据后上传到HDFS，通过SparkSQL将数据导入到Hive,而后通过SparkSQL操作Hive进行计算，而后将最终结果保存到MySQL。
进行数据分析，通过大数据对股票价格进行线上线下一手抓，通过这样的数据就能够判别出经济周期的所处阶段，对应所操作的股市，也就可以制定策略，调高盈利概率。
相似人才推荐
-
500元/天研发部工程师吉林油田概要：熟悉c++，python，Java，php等语言，用过Qt，PyQt做过一些小项目，掌握前端例如jQ
-
800元/天研发工程师国汽(北京)智能网联汽车研究院有限公司概要：- "基于Linux/Windows平台的C/C++语言开发 - 掌握Java语言开发 -
500元/天初级工程师晋商联合投资股份有限公司概要：掌握Linux基本操作命令，了解redis；精通使用css+div进行页面布局；.能够熟练使用注解开
-
500元/天技术总监江苏溪谷概要：前端技术：熟练掌握CSS3、HTML5、Javascript、Jquery等；了解各主流浏览器的兼容
-
600元/天技术经理赣州三到网络科技有限公司概要：java、PHP、vue、微信小程序开发等 熟练运用Spring、 Mybatis、 Spring -
600元/天技术总监茂东网络技术（武汉）有限公司概要：我们是网站开发公司，可以接私单，包括大型网站开发，手机app开发，小程序，公众号等全部可以接单，服务
-
700元/天ERP实施汉得概要：熟悉JAVA语言，了解使用spring MVC、spring 、mybatis等框架。 熟悉Ora
-
500元/天高级工程师汇丰银行概要：擅长web，精通HTML， JavaScript，熟悉前端三大框架 后台JAVA开发，精通Spri
