内蒙古电信装维统一模型上传
项目描述:采集电信OSS域的数据,通过物化视图及规则转换引擎实现省内装维数据数据同步和模型转换,将省内er库的模型数据转换为kv模型数据由Hbase数据通道上传给电信集团,以支持集团运营指标的计算分析。
责任描述: 参与该系统模型映射梳理,linux服务器大数据环境搭建,数据的全量和增量同步,数据转换(将oracle数据库的横表数据转换成Hbase的纵表数据)以及数据的上传(基于Hbase Replication来实现省和集团两级Hbase的数据及时同步)。整个项目实施过程中,涉及到的技术有oracle Golden Gate(OGG)数据实时同步,ETL数据清洗,CDC增量数据采集,分布式计算,Hbase存储等。