1、负责研发南方电网某数据仓库开发。实现了林立业务系统。多源异构的数据融合、数据交换。采用业界较为先进的RDMBS数据库同步监听程序,实现了对关系型数据库动态实时同步。
采用Hive搭建离线数仓,使用维度表,关联表实现对多业务系统的数据整合,进而达到全局一张图的数据仓库展示效果。期间解决了存储性能优化、查询性能优化等问题。
2、负责某大型国企实时数据消费系统开发,采用kafka、SparkStreaming、FlinkStreaming构建实时数据消费系统,对上游实时更新业务系统数据进行了逻辑消费,消费过后的业务数据实时打印在全局大屏。