1. 熟练使用 Linux 操作系统，能在 Linux 环境下进行开发，熟练使用基本的 shell 脚本开发。
2. 熟悉 Hadoop 框架，能够独立搭建使用 Hadoop 的生态圈组件，熟悉文件系统 HDFS，熟悉 yarn 资源管理。
3. 熟悉 Zookeeper 的架构、运行的原理。
4. 熟悉 Hive 的基本架构、常用的参数配置，熟悉 Hive 中常见的系统函数以及 Hive 的调节优化。
5. 熟悉 Kafka 的基本架构以及原理。
6. 熟悉 Flume 三大组件，实现日志数据采集，了解 Flume 的拦截器、选择器、监控器。
7. 熟悉 Datax，能够利用它从业务数据库全量同步数据到 HDFS。
8. 熟悉 Maxwell 的工作原理以及能够利用它从业务数据库增量同步数据到 Kafka。
9. 熟悉 Hbase 基本框架，读写流程，存储原理，会使用 Phoenix 对 Hbase 进行类 SQL 查询。
10. 熟悉 Flink 框架 API 使用，熟悉水位线、检查点、端到端一致性等内部原理。
11. 熟悉 Spark，能够熟练使用 Spark 计算框架处理离线数据，熟悉 Spark 内核、阶段划分、任务提交、任务执行
原理。
12. 熟悉即席查询数据库 Clickhouse，能够将数仓聚合数据导入其中。
13. 熟悉 DolphinScheduler 任务调度平台的使用。
14. 了解可视化工具 FineBI，Sugar，能够进行生产中使用。

项目名称： 凯叔讲故事离线数据仓库系统
项目描述: 随着公司数据量的增加，决定搭建离线数仓，对公司数据进行集中处理，为公司日常运营、业务决策
提供数据支持。
开发工具：Hive、Hadoop、Kafka、Flume、Maxwell、DataX、Zookeeper、DolphinScheduler、Mysql、 FineBI
个人职责：
1. 参与数据采集平台的搭建。
2. 参与制定数仓分层，数据域划分，维度建模方案。
3. 负责指标分析，完成业务所需指标，如：用户留存率，转换率，新增用户，TopN 热门视频等指标。
4. 参与数据仓库数据导入脚本编写。
5. 参与集群的性能优化和参数的调优。