项目名称:长春XX集团大数据平台
角色:软件开发工程师
开发环境:阿里云平台、dataworks数据工场、Quick BI平台、dataphin平台
主要技术:MaxCompute引擎,MySQL、Oracle等数据库
项目简介:本项目利用云计算、大数据及阿里云成熟产品dataphin平台打造XX集团大数据体系。通过管道/脚本模式创建离线集成任务,将业务需要的数据从源数据库进行上云。对于管道不支持的ETL任务,通过Python脚本实现自定义ODPS开发;同时根据业务需求进行增量或者全量上云;对上云后的数据进行清洗、转换,为后续数据建模做准备。