1、熟悉主流数据库(oracle、hive、mysql),熟练使用sql语句,存储过程,sql优化;
2、熟悉kettle、datax,DolphinScheduler ETL开发工具;
3、熟悉Linux常用操作系统,有简单shell脚本编写能力,掌握python基本语言;
4、熟悉数据仓库模型、业务敏感度高;
5、理解Hadoop原理,数据分层、数据倾斜,分区分桶等
6、熟悉数据治理流程,理解数据标准、元数据、数据质量管理,问题台账梳理
苏州信托数据仓库及数据治理项目
岗位职责
1、根据模型设计,在主题层进行数据开发,并开发数仓的质检规则;
2、监控调度情况并根据需要,将源系统新增或修改的表字段抽到数仓;
3、维护监管报送、数据治理应用,根据公司更新版本对现场进行升级;
4、根据同业实践EAST监管要求等,制定符合甲方的数据标准;
5、梳理数仓血缘关系;
6、EAST5专项治理查询问题数据,并根据问题开发质检规则;
7、配合协助EAST5数据补录,并输出问题台账,跟进问题处理进度。