因行业涉及敏感数据,故无案例图。
该项目主要用于公安机关,打造公共安全领域信息化建设、web应用层是由10多个web应用子系统组的微服务集群;数仓层是基于CDH搭建的大数据应用平台;外部源数据层是该系统依赖的其他第三方服务。其中本人主要参与数仓层建设,数仓分为数据集市与应用数据集市两大块、数据集市主要用于全局搜索、应用集市用于web系统调用;并使用kettle,编写ETL脚本,分别从不同数据源如mysql、oracle;webserice、hdfs等源数据中抽取数据,并通过规则清洗,加密等逻辑发到给kafaka;最后落盘到不同数据集市层。
需求方专属客服,免费梳理匹配
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如当前档期不合,也可免费为您推荐相似案例作者