负责搭建和持续改进公司数据ETL流水线和数据仓库。基于Spark SQL+MongoDB+Airflow+EMR+Redis,分析处理用户业务数据和行为数据,给下游业务部门和决策部门提供数据服务支撑(推荐结果及排序、实时排行榜、给BI提供数据源、等等)。 负责搭建和持续改进公司BI系统。基于MongoDB+AWS Athena+AWS Glue+AWS Lambda+AWS Quicksight+Mixpanel(曾经还用过Google BigQuery+Looker),分析用户数据,给高层决策部门提供数据分析报表和Dashboard。
这是一个澳大利亚客户的项目。项目方需要我利用AWS Lambda检测源数据新增,对新增数据进行validate、有效内容提取、格式转换、并最终存储在documentDB(documentDB是AWS兼容MongoDB的数据库实现),并通过有针对性的索引,加速documentDB的高效读取。
负责搭建和持续改进公司数据ETL流水线和数据仓库。基于Spark SQL+MongoDB+Airflow+EMR+Redis,分析处理用户业务数据和行为数据,给下游业务部门和决策部门提供数据服务支撑(推荐结果及排序、实时排行榜、给BI提供数据源、等等)。 负责搭建和持续改进公司BI系统。基于MongoDB+AWS Athena+AWS Glue+AWS Lambda+AWS Quicksight+Mixpanel(曾经还用过Google BigQuery+Looker),分析用户数据,给高层决策部门提供数据分析报表和Dashboard。...
这是一个澳大利亚客户的项目。项目方需要我利用AWS Lambda检测源数据新增,对新增数据进行validate、有效内容提取、格式转换、并最终存储在documentDB(documentDB是AWS兼容MongoDB的数据库实现),并通过有针对性的索引,加速documentDB的高效读取。...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人