掌握的主要技能包含python和scala,能读懂java但是不会,熟悉大数据组件包含hadoop,hdfs,yarn,impala,spark,hive,hbase,mongo,datax,sqoop等,熟悉数仓分层,数据开发,擅长sql编写,
项目名称:服务商平台
项目简述:专为服务商打造的便捷平台。在此,各服务商能够轻松查看名下运营学生的详细资料,精准掌握学生学习动态,包括学习时长、课程完成情况等学习记录,还可实时了解学生续费与否,一站式助力服务商高效管理,提升运营成效。
数据源:mysql、hbase、mongo等
ETL工具:Azkaban、DataX、sqoop、es
开发语言:python、shell、sql
负责内容:数据抽取,并以kimball理论为基础构建数据仓库,在此基础上根据需求进行数据加工,并将结果加载到es中