2019/9-2020/11数据仓库空间及程序性能优化所属公司:
文思海辉技术有限公司
项目描述:
利用多种优化技术,结合业务对数据需求的分析,实现数据仓库的空间压缩及程序性能提升。
主要技术包括:分区、索引、压缩表、拉链表、Hint、静态注入等。
解决企业痛点:
降低了存储压力,将数据仓库的使用空间由20TB降低到10TB。通过表空间迁移,节省了生产、备份、测试多套环境的磁盘空间,节约存储成本。通过SQL优化,提升程序效率,超过30min程序由100多个降低到20个以下,将数据库服务器CPU使用率由优化前的95%降低至75%。
使用了压缩表及分区表技术,将冷热数据分离,对不常用的数据压缩存储,减少了IO
根据实际业务需求,开发生命周期管理程序,实现数据总量的统一管理,保持数据量(磁盘空间)的稳定,保证了数据仓库的稳定运行。
责任描述:
制定方案,提出优化建议,代码编写,代码评审等。
2018/5-2018/8核心数据报表平台搭建与报表开发所属公司:
深圳市小佰科技有限公司
项目描述:
通过EasyReport搭建报表平台,提供给公司各部门使用。
实现流程:搭建具有ODS/DW/BI三层结构的OLAP数据仓库(Mysql),将业务系统的PostgreSQL数据库中的数据通过Kettle加载到Mysql中,开发存储过程,产出BI报表。搭建EasyReport开源报表系统,配置报表,分配访问权限,提供各部门使用。
实现难点:1)部分数据未入库,需要整理。2)各部门数据口径不一致,需要统一协调。3)各部门对报表查看维度不一致,需要按需开发。4)财务数据不提供数据接口,需要用EXCEL导出导入,且会出现账务不平,需要反复沟通。
责任描述:
报表工具调研,统筹开发进度,协调人员,检验数据准确性,数据仓库搭建及报表开发。