大数据项目及性能提升

生活消费 出行 案例ID：202754
数据-鱼的记忆
8 年经验· 上海嘉峪智能科技有限公司
微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

一、参与并主导完成TB级实时出行服务框架的搭建
导致反压的原因：频繁访问多种外部组件
解决方式：使用广播流的方式降低，redis和mysql的压力

数据接入、解析、赋值
多种维度数据生成的广播流
维度属性赋值使用全量redis/mysql+增量kafka的方式，保证数据即时更新
双流join
射线法，判断点是否在不规则多边形内
唯一标识判断、赋值，对一段时间内的连续行为，添加相同的标识，类似session id
事件时间的超时判断及系统时间的超时判断
指标计算
使用类AggregatingState的实现，优化代码
解决shuffle中乱序导致的状态数据持续累计变大，最终导致的任务失败




#一、主导重构离线数据仓库体系建设
此处并未使用调度系统，单纯依赖linux的crontab功能

数据采集：定时采集，入库配置化。
数据分层：利用 ONE-DATA 理念对数仓分层设计ODS，DWD，DWS，ADS，并基于 json 映射机制创建外部表，提高了了数据源结构的灵活性。
监控告警：python开发监控脚本工具，引入到日常sql任务中。

案例图片

共 2 张
大数据项目及性能提升 大数据项目及性能提升
查看该工程师的更多案例 >

相似案例推荐

索赔比对
索赔比对
场景描述： 从厂商系统中分别导出索赔线索数据和发票清单数据
事故车线索
事故车线索
场景描述： 事故车线索数据，需要员工打开中保微信小程序、平
售后报表
售后报表
场景描述： 永达汽车集团下属部门宝诚事业部（主要销售宝马汽
搭车
搭车
一个多年前的app,类似于嘀嘀打车，没啥过多介绍，当时没有做
走旅行
走旅行
项目介绍: 该项目是一个为用户提供方便快捷的选择旅游路线、
宝马官网
宝马官网
宝马官网 项目描述: 宝马官网也搭建了 AEM 的一套系统

大数据项目及性能提升

生活消费 · 出行 案例ID：202754
联系该工程师
微信扫码，建群沟通
作者： 数据-鱼的记忆 - 8年经验- 上海嘉峪智能科技有限公司

案例介绍

一、参与并主导完成TB级实时出行服务框架的搭建
导致反压的原因：频繁访问多种外部组件
解决方式：使用广播流的方式降低，redis和mysql的压力

数据接入、解析、赋值
多种维度数据生成的广播流
维度属性赋值使用全量redis/mysql+增量kafka的方式，保证数据即时更新
双流join
射线法，判断点是否在不规则多边形内
唯一标识判断、赋值，对一段时间内的连续行为，添加相同的标识，类似session id
事件时间的超时判断及系统时间的超时判断
指标计算
使用类AggregatingState的实现，优化代码
解决shuffle中乱序导致的状态数据持续累计变大，最终导致的任务失败




#一、主导重构离线数据仓库体系建设
此处并未使用调度系统，单纯依赖linux的crontab功能

数据采集：定时采集，入库配置化。
数据分层：利用 ONE-DATA 理念对数仓分层设计ODS，DWD，DWS，ADS，并基于 json 映射机制创建外部表，提高了了数据源结构的灵活性。
监控告警：python开发监控脚本工具，引入到日常sql任务中。

案例图片

大数据项目及性能提升

大数据项目及性能提升

查看该工程师的更多案例

相似案例推荐

  • 索赔比对

    索赔比对

    场景描述： 从厂商系统中分别导出索赔线索数据和发票清单数据

  • 事故车线索

    事故车线索

    场景描述： 事故车线索数据，需要员工打开中保微信小程序、平

  • 售后报表

    售后报表

    场景描述： 永达汽车集团下属部门宝诚事业部（主要销售宝马汽

  • 搭车

    搭车

    一个多年前的app,类似于嘀嘀打车，没啥过多介绍，当时没有做

  • 走旅行

    走旅行

    项目介绍: 该项目是一个为用户提供方便快捷的选择旅游路线、

  • 宝马官网

    宝马官网

    宝马官网 项目描述: 宝马官网也搭建了 AEM 的一套系统

发布任务

企业点击发布任务，工程师会在任务下报名，招聘专员也会在 1 小时内与您联系确认。
点击发布任务

1小时精推人才

需求方专属客服，免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了？客服帮你 1 小时对接沟通 → ×