px
大数据架构师
18birdies.com · 5年经验
日薪：
￥1000/8h
地点：
上海 浦东
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
有丰富的大数据OLAP实践经验，可以帮助中等规模互联网公司从零到一建立数据ETL流水线，数据仓库等等。
有丰富的Spark/Spark SQL/Scala应用程序编写和调优经验。
有丰富的AWS云服务使用经验，包括AWS EMR/AWS Glue/AWS Athena/AWS Lambda等等。
在推荐系统方面有较丰富经验。
编程能力较强，经验丰富。多年Java/Scala/Python/C开发经验。
扎实的数学功底和丰富的数据挖掘、机器学习算法研究和实践经验。熟悉常规算法和数据结构的原理和应用，热爱算法设计，有扎实数学功底。
有丰富的Spark/Spark SQL/Scala应用程序编写和调优经验。
有丰富的AWS云服务使用经验，包括AWS EMR/AWS Glue/AWS Athena/AWS Lambda等等。
在推荐系统方面有较丰富经验。
编程能力较强，经验丰富。多年Java/Scala/Python/C开发经验。
扎实的数学功底和丰富的数据挖掘、机器学习算法研究和实践经验。熟悉常规算法和数据结构的原理和应用，热爱算法设计，有扎实数学功底。
项目经验
在18birdies.com，作为数据团队负责人，负责搭建和持续改进18Birdies数据pipeline。基于Spark SQL+MongoDB+Airflow+EMR+Redis，分析处理用户transaction数据和行为数据，给下游业务部门和决策部门提供数据服务支撑（推荐结果及排序、实时排行榜、给BI提供数据源、等等）。
在18birdies.com，作为数据团队负责人，负责搭建和持续改进18Birdies BI系统。基于MongoDB+AWS Athena+AWS Glue+AWS Lambda+AWS Quicksight+Mixpanel（曾经还用过Google BigQuery+Looker），分析用户数据，给高层决策部门提供数据分析报表和Dashboard。
在18birdies.com，作为数据团队负责人，负责搭建和持续改进18Birdies BI系统。基于MongoDB+AWS Athena+AWS Glue+AWS Lambda+AWS Quicksight+Mixpanel（曾经还用过Google BigQuery+Looker），分析用户数据，给高层决策部门提供数据分析报表和Dashboard。
px
大数据架构师 · 5年经验 · 18birdies.com
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
有丰富的大数据OLAP实践经验，可以帮助中等规模互联网公司从零到一建立数据ETL流水线，数据仓库等等。
有丰富的Spark/Spark SQL/Scala应用程序编写和调优经验。
有丰富的AWS云服务使用经验，包括AWS EMR/AWS Glue/AWS Athena/AWS Lambda等等。
在推荐系统方面有较丰富经验。
编程能力较强，经验丰富。多年Java/Scala/Python/C开发经验。
扎实的数学功底和丰富的数据挖掘、机器学习算法研究和实践经验。熟悉常规算法和数据结构的原理和应用，热爱算法设计，有扎实数学功底。
有丰富的Spark/Spark SQL/Scala应用程序编写和调优经验。
有丰富的AWS云服务使用经验，包括AWS EMR/AWS Glue/AWS Athena/AWS Lambda等等。
在推荐系统方面有较丰富经验。
编程能力较强，经验丰富。多年Java/Scala/Python/C开发经验。
扎实的数学功底和丰富的数据挖掘、机器学习算法研究和实践经验。熟悉常规算法和数据结构的原理和应用，热爱算法设计，有扎实数学功底。
项目经验
在18birdies.com，作为数据团队负责人，负责搭建和持续改进18Birdies数据pipeline。基于Spark SQL+MongoDB+Airflow+EMR+Redis，分析处理用户transaction数据和行为数据，给下游业务部门和决策部门提供数据服务支撑（推荐结果及排序、实时排行榜、给BI提供数据源、等等）。
在18birdies.com，作为数据团队负责人，负责搭建和持续改进18Birdies BI系统。基于MongoDB+AWS Athena+AWS Glue+AWS Lambda+AWS Quicksight+Mixpanel（曾经还用过Google BigQuery+Looker），分析用户数据，给高层决策部门提供数据分析报表和Dashboard。
在18birdies.com，作为数据团队负责人，负责搭建和持续改进18Birdies BI系统。基于MongoDB+AWS Athena+AWS Glue+AWS Lambda+AWS Quicksight+Mixpanel（曾经还用过Google BigQuery+Looker），分析用户数据，给高层决策部门提供数据分析报表和Dashboard。
案例展示
大数据ETL流水线和数据仓库
负责搭建和持续改进公司数据ETL流水线和数据仓库。基于Spark SQL+MongoDB+Airflow+EMR+Redis，分析处理用户业务数据和行为数据，给下游业务部门和决策部门提供数据服务支撑（推荐结果及排序、实时排行榜、给BI提供数据源、等等）。 负责搭建和持续改进
基于Lambda和MongoDB数据处理
这是一个澳大利亚客户的项目。项目方需要我利用AWS Lambda检测源数据新增，对新增数据进行validate、有效内容提取、格式转换、并最终存储在documentDB(documentDB是AWS兼容MongoDB的数据库实现），并通过有针对性的索引，加速documentDB的
立即沟通
