某BI系统

文化娱乐 游戏 案例ID:132141
草小诚
4 年经验· 着迷网
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

公司整体的大数据平台,囊括数十款移动端游戏和一些运维向数据分析,由各语言的SDK提供数据报送通讯,收入后进行ETL,之后开始分析出报表,由restful RPC 提供分析报表的查询,包含有周期性的批处理数据,以及当日实时数据报表。除此以外,还提供有记录服务(对大量内容记录进行永久存储与实时查询)排序服务(海量数据快速实时排序)等平台服务。
个人职责:
(1)云服务选型及购买,关联,维护以及环境搭建,项目部署与监控(nginx,uwsgi,shell)。
(2)协助运营方确定数据分析需求,根据需求设计事件打点与字段。
(3)提供接口(django)与Java SDK,协助完成PHP,Lua SDK,异步报送采集数据。
(4)对接收到的数据分别进行流分析(spark streaming)和批处理(beeline,hive),产出历史与实时数据,并将报表数据入库(elasticsearch)。
(5)提供基于Elasticsearch的排序服务和记录服务。
(6)提供高度抽象restful API(django实现),供各产品后端展示,与服务使用方调用。
(7)对公司运营向决策提供大数据支持,以及异常排查,危险预警。

某BI系统

文化娱乐 · 游戏 案例ID:132141
联系该工程师
微信扫码,建群沟通
作者: 草小诚 - 4年经验- 着迷网

案例介绍

公司整体的大数据平台,囊括数十款移动端游戏和一些运维向数据分析,由各语言的SDK提供数据报送通讯,收入后进行ETL,之后开始分析出报表,由restful RPC 提供分析报表的查询,包含有周期性的批处理数据,以及当日实时数据报表。除此以外,还提供有记录服务(对大量内容记录进行永久存储与实时查询)排序服务(海量数据快速实时排序)等平台服务。
个人职责:
(1)云服务选型及购买,关联,维护以及环境搭建,项目部署与监控(nginx,uwsgi,shell)。
(2)协助运营方确定数据分析需求,根据需求设计事件打点与字段。
(3)提供接口(django)与Java SDK,协助完成PHP,Lua SDK,异步报送采集数据。
(4)对接收到的数据分别进行流分析(spark streaming)和批处理(beeline,hive),产出历史与实时数据,并将报表数据入库(elasticsearch)。
(5)提供基于Elasticsearch的排序服务和记录服务。
(6)提供高度抽象restful API(django实现),供各产品后端展示,与服务使用方调用。
(7)对公司运营向决策提供大数据支持,以及异常排查,危险预警。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例 联系该工程师
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×