root
大数据开发工程师
山东高速信息科技公司 · 2年经验
日薪：
￥500/8h
地点：
山东 全区
时间：
可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1．熟练使用各种开发工具，包括 Intellij IDEA、Eclipse、HBuilder、Git、Maven PL/SQL、Navicat 等。 2．具有扎实的 Java 基础，良好的编码习惯。 3．良好的数据结构与算法基础；优秀的英文阅读能力，能顺利阅读英文专业书籍与开源网站; 善于学习并与团 队分享新技术;具有优秀的写作能力。 4．对大数据信息敏感，具有较强的数据分析洞察力。 5．熟练掌握 Oracle、Postgresql、Mysql 数据库，能熟练编写 SQL 语句。 6．熟练掌握 Scala、Python 编程语言。 7．熟练掌握 CDH 和 Ambari+HDP 集群搭建与维护。 8．熟练掌握 Linux 常用命令的使用，熟悉 Shell 编程。 9．熟练掌握 Hadoop、Hbase、Hive、Impala、Phoenix、Hue、Sqoop、Zookeeper、Flume 等 Hadoop 生态技术圈的相关技术的基本使用。 10．熟练掌握 ETL 工具 Kettle。 11．理解 Spark 工作机制， 熟练掌握 Spark core、Spark Sql 的开发、了解 Spark Streaming 的开发。 12．熟练使用 Redis 缓存，ElasticSearch 搜索引擎，中间件 Kafka、Rabbit MQ。 13．熟练掌握 JSP、Servlet、以及 SSM（Spring+SpringMVC+MyBatis）框架的使用。 14．熟练掌握 Springboot，整合 Mybatis，整合 Redis，整合 RabbitMQ。 15．熟练 HTML，CSS，JavaScript，AJAX，Json 的编写,熟练使用 Ajax+Json 完成 rest 风格项目。 16．熟练使用第三方 api 完成短信发送、百度地图相关操作、天气预报、Highcharts 图形化报表。 17．熟练使用各种办公软件 Word、Excel、PowerPoint。具有较强的文档写作能力，能够按要求编写设计文档。 18．熟练使用 Photoshop、Dreamweaver、Flash、Fireworks、Illustrator、After Effects、Premiere、Audition， 有较强的创新和审美能力，完成基本的多媒体设计需求。 19．熟练地在
项目经验
电影推荐
应用技术：Spring+MongoDB+Redis+Elasticsearch+Flume+Kafka+Spark Streaming
项目描述：该项目以某电影公司网站的真实业务数据架构为基础，构建一个电影推荐系统，包含了离线推荐和实时推荐系统，利用协同过滤算法以及基于内容的推荐算法来提供混合推荐。提供了从前端应用、后端服务、算法设计与实现、平台部署等多方位的闭环的业务实现。
项目实现：
1.离线推荐:从MongoDB中加载数据，将电影平均评分统计、电影评分个数统计、最近电影评分个数统计三个统计算法进行运行实现，并将计算结果回写到 MongoDB中；离线推荐服务从 MongoDB中加载数据，通过 ALS 算法分别将用户推荐结果矩阵、影片相似度矩阵回写到 MongoDB中。
2.实时推荐：从综合业务服务的运行日志中读取日志更新，并将更新的日志实时推送到Kafka 中；Kafka 在收到这些日志之后，通过 KafkaStream程序对获取的日志信息进行过滤处理，获取用户评分数据流，并发送到另外一个Kafka 队列；Spark Streaming监听 Kafka 队列，实时获取 Kafka 过滤出来的用户评分数据流，融合存储在 Redis中的用户最近评分队列数据，提交给实时推荐算法，完成对用户新的推荐结果计算；计算完成之后，将新的推荐结构和 MongoDB数据库中的推荐结果进行合并。
应用技术：Spring+MongoDB+Redis+Elasticsearch+Flume+Kafka+Spark Streaming
项目描述：该项目以某电影公司网站的真实业务数据架构为基础，构建一个电影推荐系统，包含了离线推荐和实时推荐系统，利用协同过滤算法以及基于内容的推荐算法来提供混合推荐。提供了从前端应用、后端服务、算法设计与实现、平台部署等多方位的闭环的业务实现。
项目实现：
1.离线推荐:从MongoDB中加载数据，将电影平均评分统计、电影评分个数统计、最近电影评分个数统计三个统计算法进行运行实现，并将计算结果回写到 MongoDB中；离线推荐服务从 MongoDB中加载数据，通过 ALS 算法分别将用户推荐结果矩阵、影片相似度矩阵回写到 MongoDB中。
2.实时推荐：从综合业务服务的运行日志中读取日志更新，并将更新的日志实时推送到Kafka 中；Kafka 在收到这些日志之后，通过 KafkaStream程序对获取的日志信息进行过滤处理，获取用户评分数据流，并发送到另外一个Kafka 队列；Spark Streaming监听 Kafka 队列，实时获取 Kafka 过滤出来的用户评分数据流，融合存储在 Redis中的用户最近评分队列数据，提交给实时推荐算法，完成对用户新的推荐结果计算；计算完成之后，将新的推荐结构和 MongoDB数据库中的推荐结果进行合并。
root
大数据开发工程师 · 2年经验 · 山东高速信息科技公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1．熟练使用各种开发工具，包括 Intellij IDEA、Eclipse、HBuilder、Git、Maven PL/SQL、Navicat 等。 2．具有扎实的 Java 基础，良好的编码习惯。 3．良好的数据结构与算法基础；优秀的英文阅读能力，能顺利阅读英文专业书籍与开源网站; 善于学习并与团 队分享新技术;具有优秀的写作能力。 4．对大数据信息敏感，具有较强的数据分析洞察力。 5．熟练掌握 Oracle、Postgresql、Mysql 数据库，能熟练编写 SQL 语句。 6．熟练掌握 Scala、Python 编程语言。 7．熟练掌握 CDH 和 Ambari+HDP 集群搭建与维护。 8．熟练掌握 Linux 常用命令的使用，熟悉 Shell 编程。 9．熟练掌握 Hadoop、Hbase、Hive、Impala、Phoenix、Hue、Sqoop、Zookeeper、Flume 等 Hadoop 生态技术圈的相关技术的基本使用。 10．熟练掌握 ETL 工具 Kettle。 11．理解 Spark 工作机制， 熟练掌握 Spark core、Spark Sql 的开发、了解 Spark Streaming 的开发。 12．熟练使用 Redis 缓存，ElasticSearch 搜索引擎，中间件 Kafka、Rabbit MQ。 13．熟练掌握 JSP、Servlet、以及 SSM（Spring+SpringMVC+MyBatis）框架的使用。 14．熟练掌握 Springboot，整合 Mybatis，整合 Redis，整合 RabbitMQ。 15．熟练 HTML，CSS，JavaScript，AJAX，Json 的编写,熟练使用 Ajax+Json 完成 rest 风格项目。 16．熟练使用第三方 api 完成短信发送、百度地图相关操作、天气预报、Highcharts 图形化报表。 17．熟练使用各种办公软件 Word、Excel、PowerPoint。具有较强的文档写作能力，能够按要求编写设计文档。 18．熟练使用 Photoshop、Dreamweaver、Flash、Fireworks、Illustrator、After Effects、Premiere、Audition， 有较强的创新和审美能力，完成基本的多媒体设计需求。 19．熟练地在
项目经验
电影推荐
应用技术：Spring+MongoDB+Redis+Elasticsearch+Flume+Kafka+Spark Streaming
项目描述：该项目以某电影公司网站的真实业务数据架构为基础，构建一个电影推荐系统，包含了离线推荐和实时推荐系统，利用协同过滤算法以及基于内容的推荐算法来提供混合推荐。提供了从前端应用、后端服务、算法设计与实现、平台部署等多方位的闭环的业务实现。
项目实现：
1.离线推荐:从MongoDB中加载数据，将电影平均评分统计、电影评分个数统计、最近电影评分个数统计三个统计算法进行运行实现，并将计算结果回写到 MongoDB中；离线推荐服务从 MongoDB中加载数据，通过 ALS 算法分别将用户推荐结果矩阵、影片相似度矩阵回写到 MongoDB中。
2.实时推荐：从综合业务服务的运行日志中读取日志更新，并将更新的日志实时推送到Kafka 中；Kafka 在收到这些日志之后，通过 KafkaStream程序对获取的日志信息进行过滤处理，获取用户评分数据流，并发送到另外一个Kafka 队列；Spark Streaming监听 Kafka 队列，实时获取 Kafka 过滤出来的用户评分数据流，融合存储在 Redis中的用户最近评分队列数据，提交给实时推荐算法，完成对用户新的推荐结果计算；计算完成之后，将新的推荐结构和 MongoDB数据库中的推荐结果进行合并。
应用技术：Spring+MongoDB+Redis+Elasticsearch+Flume+Kafka+Spark Streaming
项目描述：该项目以某电影公司网站的真实业务数据架构为基础，构建一个电影推荐系统，包含了离线推荐和实时推荐系统，利用协同过滤算法以及基于内容的推荐算法来提供混合推荐。提供了从前端应用、后端服务、算法设计与实现、平台部署等多方位的闭环的业务实现。
项目实现：
1.离线推荐:从MongoDB中加载数据，将电影平均评分统计、电影评分个数统计、最近电影评分个数统计三个统计算法进行运行实现，并将计算结果回写到 MongoDB中；离线推荐服务从 MongoDB中加载数据，通过 ALS 算法分别将用户推荐结果矩阵、影片相似度矩阵回写到 MongoDB中。
2.实时推荐：从综合业务服务的运行日志中读取日志更新，并将更新的日志实时推送到Kafka 中；Kafka 在收到这些日志之后，通过 KafkaStream程序对获取的日志信息进行过滤处理，获取用户评分数据流，并发送到另外一个Kafka 队列；Spark Streaming监听 Kafka 队列，实时获取 Kafka 过滤出来的用户评分数据流，融合存储在 Redis中的用户最近评分队列数据，提交给实时推荐算法，完成对用户新的推荐结果计算；计算完成之后，将新的推荐结构和 MongoDB数据库中的推荐结果进行合并。
立即沟通
