大数据ETL流水线和数据仓库

企业服务 · 云计算 案例ID: 187452
联系该工程师
微信扫码，建群沟通
作者： px - 5年经验- 18birdies.com

案例介绍

负责搭建和持续改进公司数据ETL流水线和数据仓库。基于Spark SQL+MongoDB+Airflow+EMR+Redis，分析处理用户业务数据和行为数据，给下游业务部门和决策部门提供数据服务支撑（推荐结果及排序、实时排行榜、给BI提供数据源、等等）。

负责搭建和持续改进公司BI系统。基于MongoDB+AWS Athena+AWS Glue+AWS Lambda+AWS Quicksight+Mixpanel（曾经还用过Google BigQuery+Looker），分析用户数据，给高层决策部门提供数据分析报表和Dashboard。

案例图片

大数据ETL流水线和数据仓库

大数据ETL流水线和数据仓库

查看该工程师的更多案例

相似案例推荐

  • 侦控日志调度

    侦控日志调度

    项目是对节点流量的展示，首页在每30s会刷新数据对节点流量进

  • 顺网云电脑app整改

    顺网云电脑app整改

    1.整改云电脑App用户协议授权及权限获取流程； 梳理网信

  • 后台管理技术

    后台管理技术

    该项目采用了最新的技术，内置了国际化解决方案，动态路由，权限

  • 后台管理系统

    后台管理系统

    项目基于 Spring Boot 2.1.0 、 Jpa、

  • 云测

    云测

    1. 项目描述：一个云上测试平台，为用户提供了云上的用例管理

  • 商城

    商城

    1. 数据库性能高优 2. 缓存与数据双写不一致 3.

发布任务

企业点击发布任务，工程师会在任务下报名，招聘专员也会在 1 小时内与您联系确认。
点击发布任务

1小时精推人才

需求方专属客服，免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
微信沟通 联系需求方端客服 看中这位工程师了？客服帮你 1 小时对接沟通 → ×