画画的北北

⚫ Spark： 精通Spark 相关技术，能使用对应 API 实现离线及准实时计算。
⚫ Flink：精通Flink 原理，能够解决一些数据倾斜何延迟问题。
⚫ Hive：精通HiveSQL 对数据进行统计分析，掌握开窗函数，分区及分桶等，处理数据倾斜问题。
⚫ Kafka：精通Kafka 的组织架构,集群配置，及 ISR 机制，可以解决 Kafka 中常见的数据丢失和重复消费问题。
⚫ Flume：精通Flume 的架构，通过配置 Flume 对数据进行采集。
⚫ 用户画像：bitmap 分群, 用户分群(RFM 模型, RFE 模型, PSM 模型, USG 模型)。
⚫ 机器学习：掌握线性回归，逻辑回归，K-Means 聚类算法，KNN 分类算法，混淆矩阵，决策树，梯度下降，Apriori，
Word2Vec 等。
⚫ HBase：精通HBase 架构原理，解决 HBase 热点问题。
⚫ Linux：精通Linux 系统，熟练使用常用的 Linux 操作命令。
⚫ Hadoop：精通Hadoop 中的 HDFS，Yarn 和 MapReduce 底层实现原理。
⚫ 编程语言：掌握Scala，Java，了解 C，Python，Shell。
⚫ 其他：Zookeeper，Flume，Canal，Maxwell，Sqoop，DataX，Clickhouse，Elasticsearch，Redis，Kylin，
Azkaban，Superset。