我不知道的案例列表

交通行业数据集市

企业服务-数据服务 我不知道

交通行业数据集市 项目描述: 为了提升研发人员对政企单位交通类需求的处理速度,部门领导决定在电信自有数据仓库基础上,根据交通行业客户的各类需求,开发对应的交通行业数据集市。包括职住、出行OD、通勤、人口分布等各类宽表。 整个集市以电信数据仓库为数据源,按照各主题需求,通过hive+spark的方式进行数据处理,生成对应的hive表。 集市项目部署在azkanban调度系统上,以事件依赖的形式依次触发并按天执行。 我的职责: 编写设计文档,主持设计评审; 优化OD算法,超速算法,出行算法等集市内核心算法; 支撑测试、平台等部门,协助程序测试及上线部署; 负责集市的版本更新和日常...

交通行业数据集市
交通行业数据集市

运营商位置数据仓库项目

企业服务-数据服务 我不知道

运营商位置数据仓库项目 项目描述: 通过与国家互联网应急中心合作,对三大运营商数据进行合并,提取其位置信息进行汇总,形成全量位置数据仓库。 前期先在各省分集群通过SparkStreaming+kafka的方式汇总三网的所有信令、详单等涉及位置的数据,统一各字段的名称和单位;然后通过位置纠偏算法对数据进行过滤,汇总到中心kafka集群的指定topic上;最后落地到hive和hbase进行持久化存储。 目前以位置知识库为基础进行合作的单位有:北京公安局、贵州应急厅、中国银行北京分行、通州区政府、招商局中外运等。 我的职责: 设计数据仓库总体架构; 位置纠偏算法实现; 评估知识库能力...

运营商位置数据仓库项目
运营商位置数据仓库项目
------ 加载完毕 ------
联系聘用方端客服