affable
大数据开发工程师
国交信息 · 1年经验
日薪：
￥500/8h
地点：
北京 朝阳
时间：
周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 熟悉java、python、scala等多种编程语言;
2. 可以熟练使用springboot、vue等常用web开发框架;
3. 所掌握的组件有: redis、mysql、es、kafka、yarn、hdfs、mr、hbase、hive、spark、storm等;
4. 具有海量数据处理经验，在多线程、高并发方面有深入研究。
2. 可以熟练使用springboot、vue等常用web开发框架;
3. 所掌握的组件有: redis、mysql、es、kafka、yarn、hdfs、mr、hbase、hive、spark、storm等;
4. 具有海量数据处理经验，在多线程、高并发方面有深入研究。
项目经验
1. 项目名称:网约车数据分析平台。
项目简介: 接收各公司网约车数据，进行存储分析，最后在页面进行展示。
详细介绍: 各公司通过32个接口向我们传输数据，接口使用nginx+keeplived做负载均衡。
接收到数据后，放入kafka，避免数据量突增导致后台崩溃的问题。
为了传输数据的效率，各网约车公司使用pb格式传输数据，所以在kafka上有一个回环程序，从kafka读取数据，解析完成后，根据不同地址的数据写入kafka的topic不同的partition。
在kafka下游有一个server端，各省市可以通过client端向kafka拉取数据。
在kafka上游，通过一个storm程序，拉取kafka数据，解析后，写入es和hdfs，写入es的数据用于web页面的实时查询，写入hdfs的数据，加载入hive后，用于离线处理。
web程序采用多租户的形式，使用的框架是springboot+layui2.x。
项目简介: 接收各公司网约车数据，进行存储分析，最后在页面进行展示。
详细介绍: 各公司通过32个接口向我们传输数据，接口使用nginx+keeplived做负载均衡。
接收到数据后，放入kafka，避免数据量突增导致后台崩溃的问题。
为了传输数据的效率，各网约车公司使用pb格式传输数据，所以在kafka上有一个回环程序，从kafka读取数据，解析完成后，根据不同地址的数据写入kafka的topic不同的partition。
在kafka下游有一个server端，各省市可以通过client端向kafka拉取数据。
在kafka上游，通过一个storm程序，拉取kafka数据，解析后，写入es和hdfs，写入es的数据用于web页面的实时查询，写入hdfs的数据，加载入hive后，用于离线处理。
web程序采用多租户的形式，使用的框架是springboot+layui2.x。
ID:143317
复制
affable
大数据开发工程师 · 1年经验 · 国交信息
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1. 熟悉java、python、scala等多种编程语言;
2. 可以熟练使用springboot、vue等常用web开发框架;
3. 所掌握的组件有: redis、mysql、es、kafka、yarn、hdfs、mr、hbase、hive、spark、storm等;
4. 具有海量数据处理经验，在多线程、高并发方面有深入研究。
2. 可以熟练使用springboot、vue等常用web开发框架;
3. 所掌握的组件有: redis、mysql、es、kafka、yarn、hdfs、mr、hbase、hive、spark、storm等;
4. 具有海量数据处理经验，在多线程、高并发方面有深入研究。
项目经验
1. 项目名称:网约车数据分析平台。
项目简介: 接收各公司网约车数据，进行存储分析，最后在页面进行展示。
详细介绍: 各公司通过32个接口向我们传输数据，接口使用nginx+keeplived做负载均衡。
接收到数据后，放入kafka，避免数据量突增导致后台崩溃的问题。
为了传输数据的效率，各网约车公司使用pb格式传输数据，所以在kafka上有一个回环程序，从kafka读取数据，解析完成后，根据不同地址的数据写入kafka的topic不同的partition。
在kafka下游有一个server端，各省市可以通过client端向kafka拉取数据。
在kafka上游，通过一个storm程序，拉取kafka数据，解析后，写入es和hdfs，写入es的数据用于web页面的实时查询，写入hdfs的数据，加载入hive后，用于离线处理。
web程序采用多租户的形式，使用的框架是springboot+layui2.x。
项目简介: 接收各公司网约车数据，进行存储分析，最后在页面进行展示。
详细介绍: 各公司通过32个接口向我们传输数据，接口使用nginx+keeplived做负载均衡。
接收到数据后，放入kafka，避免数据量突增导致后台崩溃的问题。
为了传输数据的效率，各网约车公司使用pb格式传输数据，所以在kafka上有一个回环程序，从kafka读取数据，解析完成后，根据不同地址的数据写入kafka的topic不同的partition。
在kafka下游有一个server端，各省市可以通过client端向kafka拉取数据。
在kafka上游，通过一个storm程序，拉取kafka数据，解析后，写入es和hdfs，写入es的数据用于web页面的实时查询，写入hdfs的数据，加载入hive后，用于离线处理。
web程序采用多租户的形式，使用的框架是springboot+layui2.x。
立即沟通
