11月
大数据挖掘工程师
深圳银雁集团 · 3年经验
日薪：
￥600/8h
地点：
北京 海淀
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
对数据具有一定的敏感度，熟悉机器学习相关算法以及建模流程，对深度学习有一定的了解；
熟悉大数据平台的搭建、使用、维护。熟悉HDFS、HIVE、HBase、Elasticsearch；
掌握Python， Scala、Spark、Graph；
对Neo4j图数据库有一定的了解；
可做爬虫
熟悉大数据平台的搭建、使用、维护。熟悉HDFS、HIVE、HBase、Elasticsearch；
掌握Python， Scala、Spark、Graph；
对Neo4j图数据库有一定的了解；
可做爬虫
项目经验
项目介绍：接收公司精准营销项目的交接工作，并且对版本做运行速度优化以及模型复杂度提升。
使用技术：Python、Logistics算法、XGBoost算法、Apriori算法
优化内容：
1、性能优化：通过将程序的循环逻辑改写，将时间复杂度从N*2优化至2N；
2、代码优化：通过函数式编程，将原来一步到底的程序拆解成许多公共函数方法，达到代码复用性强，可读性高，框架清晰的目的。
2、算法优化：预测模型：利用高效的XGBoost算法替代原程序的Logistics预测， 达到预测性能的提高。其中还对比其他主流的模型，比如LightGBM、SVM、RandomForest等，
推荐模型：从规则推荐改良成Apriori算法，使推荐效果更佳且具有可解释性。
项目介绍：因项目数据量升级需求，公司向大数据方向升级。负责公司首次搭建HDP大数据平台，并且将精准营销模型从单机的Python升级到Spark版本。同时将学习路径分享给同事，带领团队入门大数据。
主要技术：HDP大数据平台、spark、scala
主要内容：
1、完成公司内部HDP大数据平台搭建。
2、自主研发spark2拔插式集群安装方法，成功解决HDP2.6版本不能使用spark2的问题。且得到行方的支持，协助行方在生成环境部署完成spark2的部署。
3、对内培训python转型pyspark，再过渡到spark
使用技术：Python、Logistics算法、XGBoost算法、Apriori算法
优化内容：
1、性能优化：通过将程序的循环逻辑改写，将时间复杂度从N*2优化至2N；
2、代码优化：通过函数式编程，将原来一步到底的程序拆解成许多公共函数方法，达到代码复用性强，可读性高，框架清晰的目的。
2、算法优化：预测模型：利用高效的XGBoost算法替代原程序的Logistics预测， 达到预测性能的提高。其中还对比其他主流的模型，比如LightGBM、SVM、RandomForest等，
推荐模型：从规则推荐改良成Apriori算法，使推荐效果更佳且具有可解释性。
项目介绍：因项目数据量升级需求，公司向大数据方向升级。负责公司首次搭建HDP大数据平台，并且将精准营销模型从单机的Python升级到Spark版本。同时将学习路径分享给同事，带领团队入门大数据。
主要技术：HDP大数据平台、spark、scala
主要内容：
1、完成公司内部HDP大数据平台搭建。
2、自主研发spark2拔插式集群安装方法，成功解决HDP2.6版本不能使用spark2的问题。且得到行方的支持，协助行方在生成环境部署完成spark2的部署。
3、对内培训python转型pyspark，再过渡到spark
11月
大数据挖掘工程师 · 3年经验 · 深圳银雁集团
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
对数据具有一定的敏感度，熟悉机器学习相关算法以及建模流程，对深度学习有一定的了解；
熟悉大数据平台的搭建、使用、维护。熟悉HDFS、HIVE、HBase、Elasticsearch；
掌握Python， Scala、Spark、Graph；
对Neo4j图数据库有一定的了解；
可做爬虫
熟悉大数据平台的搭建、使用、维护。熟悉HDFS、HIVE、HBase、Elasticsearch；
掌握Python， Scala、Spark、Graph；
对Neo4j图数据库有一定的了解；
可做爬虫
项目经验
项目介绍：接收公司精准营销项目的交接工作，并且对版本做运行速度优化以及模型复杂度提升。
使用技术：Python、Logistics算法、XGBoost算法、Apriori算法
优化内容：
1、性能优化：通过将程序的循环逻辑改写，将时间复杂度从N*2优化至2N；
2、代码优化：通过函数式编程，将原来一步到底的程序拆解成许多公共函数方法，达到代码复用性强，可读性高，框架清晰的目的。
2、算法优化：预测模型：利用高效的XGBoost算法替代原程序的Logistics预测， 达到预测性能的提高。其中还对比其他主流的模型，比如LightGBM、SVM、RandomForest等，
推荐模型：从规则推荐改良成Apriori算法，使推荐效果更佳且具有可解释性。
项目介绍：因项目数据量升级需求，公司向大数据方向升级。负责公司首次搭建HDP大数据平台，并且将精准营销模型从单机的Python升级到Spark版本。同时将学习路径分享给同事，带领团队入门大数据。
主要技术：HDP大数据平台、spark、scala
主要内容：
1、完成公司内部HDP大数据平台搭建。
2、自主研发spark2拔插式集群安装方法，成功解决HDP2.6版本不能使用spark2的问题。且得到行方的支持，协助行方在生成环境部署完成spark2的部署。
3、对内培训python转型pyspark，再过渡到spark
使用技术：Python、Logistics算法、XGBoost算法、Apriori算法
优化内容：
1、性能优化：通过将程序的循环逻辑改写，将时间复杂度从N*2优化至2N；
2、代码优化：通过函数式编程，将原来一步到底的程序拆解成许多公共函数方法，达到代码复用性强，可读性高，框架清晰的目的。
2、算法优化：预测模型：利用高效的XGBoost算法替代原程序的Logistics预测， 达到预测性能的提高。其中还对比其他主流的模型，比如LightGBM、SVM、RandomForest等，
推荐模型：从规则推荐改良成Apriori算法，使推荐效果更佳且具有可解释性。
项目介绍：因项目数据量升级需求，公司向大数据方向升级。负责公司首次搭建HDP大数据平台，并且将精准营销模型从单机的Python升级到Spark版本。同时将学习路径分享给同事，带领团队入门大数据。
主要技术：HDP大数据平台、spark、scala
主要内容：
1、完成公司内部HDP大数据平台搭建。
2、自主研发spark2拔插式集群安装方法，成功解决HDP2.6版本不能使用spark2的问题。且得到行方的支持，协助行方在生成环境部署完成spark2的部署。
3、对内培训python转型pyspark，再过渡到spark
立即沟通
