远
大数据开发工程师
南京烽火天地通信科技有限公司 · 5年经验
日薪：
￥900/8h
地点：
郑州 全区
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、熟练使用java、scala、python、R等开发语言，以及Shell脚本的简单编写；
2、熟练掌握hadoop、spark分布式数据集群的搭建和配置，熟悉linux操作系统；
3、熟练MapReduce、Spark等分布式计算框架、熟悉hdfs处理问题的思想；
4、对Hive、Hbase、Kafka、Solr、Elasticsearch等有一定的理解和应用能力；
5、熟悉Mysql、Oracle等数据库，熟练使用Eclipse、Maven、Git等开发工具；
6、熟练使用SpringBoot、SpringMVC、Hibernate、Mybatis等开源框架；
7、具备良好的编程和文档写作及管理习惯，有一定的需求分析、程序设计能力
2、熟练掌握hadoop、spark分布式数据集群的搭建和配置，熟悉linux操作系统；
3、熟练MapReduce、Spark等分布式计算框架、熟悉hdfs处理问题的思想；
4、对Hive、Hbase、Kafka、Solr、Elasticsearch等有一定的理解和应用能力；
5、熟悉Mysql、Oracle等数据库，熟练使用Eclipse、Maven、Git等开发工具；
6、熟练使用SpringBoot、SpringMVC、Hibernate、Mybatis等开源框架；
7、具备良好的编程和文档写作及管理习惯，有一定的需求分析、程序设计能力
项目经验
项目1、机票大数据采集与分析系统
描述：通过市场价格采集系统为航线或运价人员提供可靠、及时的竞争对手数据源和基本分析工具，使市场策略的制定更加科学，效果更加有效，响应市场更为及时；并通过市场价格采集项目搭建国航大数据平台。
职责：
1）参与分布式集群搭建与维护；
2）每天定时采集机票定价信息；
3）数据清洗并存储到Hbase集群；
4）基于Hive做离线分析，结果导入mysql；
项目2、网安大数据舆情分析系统
描述：在当前互联网日益普及的情况下，网络信息的获取和发布也变得越来越方便，如何对网络信息的识别和监管就变得十分重要，通过构建网安大数据分析平台对可疑信息提供有效的防控方案。
职责：
1、 负责分布式集群的搭建及维护，对已有历史数据进行清洗过滤，并用solr创建索引；
2、 利用机器学习算法对文档及音频数据进行分析（主要做特征提取、分类、内容识别等）；
3、搭建web业务系统，提供统计信息的分类展示，以及文本及音频的条件检索；
描述：通过市场价格采集系统为航线或运价人员提供可靠、及时的竞争对手数据源和基本分析工具，使市场策略的制定更加科学，效果更加有效，响应市场更为及时；并通过市场价格采集项目搭建国航大数据平台。
职责：
1）参与分布式集群搭建与维护；
2）每天定时采集机票定价信息；
3）数据清洗并存储到Hbase集群；
4）基于Hive做离线分析，结果导入mysql；
项目2、网安大数据舆情分析系统
描述：在当前互联网日益普及的情况下，网络信息的获取和发布也变得越来越方便，如何对网络信息的识别和监管就变得十分重要，通过构建网安大数据分析平台对可疑信息提供有效的防控方案。
职责：
1、 负责分布式集群的搭建及维护，对已有历史数据进行清洗过滤，并用solr创建索引；
2、 利用机器学习算法对文档及音频数据进行分析（主要做特征提取、分类、内容识别等）；
3、搭建web业务系统，提供统计信息的分类展示，以及文本及音频的条件检索；
远
大数据开发工程师 · 5年经验 · 南京烽火天地通信科技有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、熟练使用java、scala、python、R等开发语言，以及Shell脚本的简单编写；
2、熟练掌握hadoop、spark分布式数据集群的搭建和配置，熟悉linux操作系统；
3、熟练MapReduce、Spark等分布式计算框架、熟悉hdfs处理问题的思想；
4、对Hive、Hbase、Kafka、Solr、Elasticsearch等有一定的理解和应用能力；
5、熟悉Mysql、Oracle等数据库，熟练使用Eclipse、Maven、Git等开发工具；
6、熟练使用SpringBoot、SpringMVC、Hibernate、Mybatis等开源框架；
7、具备良好的编程和文档写作及管理习惯，有一定的需求分析、程序设计能力
2、熟练掌握hadoop、spark分布式数据集群的搭建和配置，熟悉linux操作系统；
3、熟练MapReduce、Spark等分布式计算框架、熟悉hdfs处理问题的思想；
4、对Hive、Hbase、Kafka、Solr、Elasticsearch等有一定的理解和应用能力；
5、熟悉Mysql、Oracle等数据库，熟练使用Eclipse、Maven、Git等开发工具；
6、熟练使用SpringBoot、SpringMVC、Hibernate、Mybatis等开源框架；
7、具备良好的编程和文档写作及管理习惯，有一定的需求分析、程序设计能力
项目经验
项目1、机票大数据采集与分析系统
描述：通过市场价格采集系统为航线或运价人员提供可靠、及时的竞争对手数据源和基本分析工具，使市场策略的制定更加科学，效果更加有效，响应市场更为及时；并通过市场价格采集项目搭建国航大数据平台。
职责：
1）参与分布式集群搭建与维护；
2）每天定时采集机票定价信息；
3）数据清洗并存储到Hbase集群；
4）基于Hive做离线分析，结果导入mysql；
项目2、网安大数据舆情分析系统
描述：在当前互联网日益普及的情况下，网络信息的获取和发布也变得越来越方便，如何对网络信息的识别和监管就变得十分重要，通过构建网安大数据分析平台对可疑信息提供有效的防控方案。
职责：
1、 负责分布式集群的搭建及维护，对已有历史数据进行清洗过滤，并用solr创建索引；
2、 利用机器学习算法对文档及音频数据进行分析（主要做特征提取、分类、内容识别等）；
3、搭建web业务系统，提供统计信息的分类展示，以及文本及音频的条件检索；
描述：通过市场价格采集系统为航线或运价人员提供可靠、及时的竞争对手数据源和基本分析工具，使市场策略的制定更加科学，效果更加有效，响应市场更为及时；并通过市场价格采集项目搭建国航大数据平台。
职责：
1）参与分布式集群搭建与维护；
2）每天定时采集机票定价信息；
3）数据清洗并存储到Hbase集群；
4）基于Hive做离线分析，结果导入mysql；
项目2、网安大数据舆情分析系统
描述：在当前互联网日益普及的情况下，网络信息的获取和发布也变得越来越方便，如何对网络信息的识别和监管就变得十分重要，通过构建网安大数据分析平台对可疑信息提供有效的防控方案。
职责：
1、 负责分布式集群的搭建及维护，对已有历史数据进行清洗过滤，并用solr创建索引；
2、 利用机器学习算法对文档及音频数据进行分析（主要做特征提取、分类、内容识别等）；
3、搭建web业务系统，提供统计信息的分类展示，以及文本及音频的条件检索；
立即沟通
