技术能力

1.MySQL日常维护,包括SQL优化,死锁和锁等待优化,主从备份和监控;高可用数据架构,MGR高可用维护;
2.跨库开发,MySQL pgsql数据迁移,包括存储过程,函数,触发器和其他SQL迁移; MySQL到pgsql数据实时同步;mongodb和MySQL,pgsql联合查询开发;
3.数仓搭建,kettle根据业务维度抽取到pgsql,clickhouse高效率数据库仓库搭建, spark+hadoop平台程序开发;superset bi分析平台开发.

项目经验

1.CRM系统优化, 数据量2亿, 从阿里云rds数据库切换到自建ecs mysql库, 提高SQL查询效率和保证业务系统稳定高效运行; 后期优化搭建数仓系统, pgsql作为数据实时分析系统, 数据源来用MySQL系统, 充分利用pgsql并行查询提高报表响应, clickhouse搭建离线数仓系统, 快速导出历史数据报表;
2.ERP系统优化, 死锁和锁等待优化, 主要是insert into select语法造成大量锁表和锁等待灾难, 通过监控来定位业务瓶颈, 修改业务流程控制, 来解决MySQL技术缺陷; 后期做了spark离线系统,解决大量数据分析问题, 减轻MySQL压力, 保证业务平稳运行, 速度提升效果明显;
3.bi平台开发, 组建开源系统superset分析平台, 改写源代码, 使用MySQL+redis架构, 优化superset运行环境, 在跨库查询上使用dremio来处理mongodb存储的数据分析问题, 来解决mysql, pgsql和clickhouse跨库联合查询技术难题.

团队情况