技术:● Linux:熟悉Linux开发环境,能使用Shell脚本实现基于服务器的开发工作。 ● Hadoop:熟悉Hadoop生态体系,掌握MapReduce系列大数据系统原理。熟练从零搭建高可用(HA) Hadoop集群(包括HDFS、 YARN),独立完成SSH免密、配置文件
项目:参与多个公司的大数据平台、数据中台项目: ●项目职责: 1、参与项目分层设计及技术选型; 2、负责项目数据平台的ETL设计开发,将数据从业务数据库统一集成到Hive数仓ODS源数据层; 3、负责DWD层明细数据的清洗转换、敏感数据脱敏、拉链表的设计和实现; 4、负责项目
案例: 数智平台