猿急送>

上海后端兼职程序员

ID：159844

JF-Zhang

大数据开发工程师

公司信息：
***信息科技有限公司

工作经验：
4年

兼职日薪：
1500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
上海
浦东

技术能力

- 熟练掌握Hadoop、Hdfs、Hive、Zookeeper、HBase等大数据生态圈组件
- 熟练掌握Spark、Flink、MapReduce等大数据技术
- 熟练掌握Flume、Kafka、Sqoop、Logstash等数据采集工具
- 熟练掌握Scala、Java、Python语言，并用其从事大数据开发
- 熟练掌握Windows、Linux系统下进行大数据环境安装与配置，Linux基本操作
- 熟练掌握Mysql、Oracle、Redis数据库
- 熟练使用Eclipse、Myeclipse、IDEA开发工具，有良好的编码习惯
- 熟练使用Maven、Gradle构建工具·
- 熟练掌握SpringCloud和SpringBoot框架，可做简单微服务开发
- 熟练掌握Java Web方面的开发，以及对ssh，ssm等基础框架的熟练运用
- 简单掌握Html、JS、JQuery、Ajax等前端的基本操作
- 对于C、C#、Android的使用一般

项目经验

C30纯电平台
开发环境：IDEA + Scala + Java
软件架构：Hadoop + Kafka + Flink + Spark + Hdfs + Hive + Tablestore + OSS + Mysql + Redis + SpringCloud + SpringBoot 
项目描述：多租户项目是针对C30车型做的一个纯电平台，用于实时和批量处理车机上传的数据。该项目整体分为大数据、微服务以及车机端三个模块，大数据端包括批处理以及流处理两个部分。ECU产生的原始数据通过规则引擎发送到MNS和Tablestore，MNS的数解析后转至Kafka供流处理使用，Tablestore的数据用于批处理和机器学习使用。流处理产生的的部分结果转至Kafka，微服务订阅Topic然后通过移动推送至App或者Vcu，其余数据流向基本和多租户相同。
责任描述：参与架构设计、编码和测试工作，主要涉及以下内容：
1. 云端环境搭建和配置，其中包括EMR、IOT、规则引擎、MNS、Tablestore的配置。 
2. 开发数据转发服务和ETL功能。
 3. 开发消息推送至Vcu服务。
4. 大数据端开发和部署。
5. 部分微服务端开发和部署。

改造多租户项目
开发环境：IDEA + Scala + Java
软件架构：Hadoop + Kafka + Spark + Hdfs + Hive + Tablestore + OSS + Mysql + Redis + SpringCloud + SpringBoot 
项目描述：多租户项目是针对不同的整车厂、不同的车型，使用同一个K8S微服务集群和同一个EMR大数据集群，保证他们可以在同一环境下正常运行。
该项目整体分为大数据、微服务以及车机端三个模块，大数据端包括ETL、批处理以及流处理三个部分。ECU产生的原始数据通过规则引擎发送到MNS和Tablestore，MNS的数据供微服务和流处理使用，Tablestore的数据用于做ETL和批处理。ETL首先对Tablestore的数据进行解码和清洗操作，然后存储到OSS供Hive使用。批处理主要是按天加载Hive中的数据，然后按照业务指标进行分析处理，结果数据存储到Mysql中。流处理主要是从Kafka中获取到解析之后的实时数据，然后按照业务指标进行分析处理，结果数据再通过Kafka和微服务进行桥接。
责任描述：参与部分编码、测试和运维工作，主要涉及以下内容：
1. 云端环境搭建和配置，其中包括EMR、IOT、规则引擎、MNS、Tablestore的配置。 
2. 优化ETL代码，解决OOM问题。
 3. 重构批处理驾驶达人代码、开发保养记录以及用油会计。
4. 开发动力卫士、加油记录以及上电提醒流处理。
5. 负责测试工作以及项目的部署和运维。

智慧匹配数据平台大数据 + 微服务
开发环境：IDEA + Scala + Java
软件架构：Hadoop + Kafka + Spark + HBase + Mysql + OSS + SpringCloud + SpringBoot 
项目描述：该项目主要是针对道路试验、客户自助匹配、外包工程师测试、匹配工程师标定的存入大数据库的测试文件，提供不同量度、不同功能层次的匹配分析服务。
数据来源于远程测量捕捉到的ECU信号和GPS信号以及工程师自己测量得到的ECU信号和标签文件。流处理通过监听OSS上面的文件获取实时上传的文件，然后通过大数据分析计算，结果数据存储到HBase和Mysql，通过微服务提供数据接口。在线解析通过kafka获取到工程师需要解析的文件以及指标，解析完成之后进行存储，供前端画图使用。批处理是按照任务对当天产生的数据进行整理，生成每日离线报告。
责任描述：参与架构设计、编码、测试和运维工作，主要涉及以下内容: 
1. 架构设计以及项目结构的划分。
2. 大数据端开发和部署。
 3. 微服务端开发和部署。
4. 项目日常运维。