1. 熟练掌握java基础知识,了解高并发编程思想及实现。
2. 熟悉sql语言,对sql有一定的优化能力。
3. 熟悉Hadoop集群的搭建和基础配置,熟练使用HDFS及MapReduce实现功能
4. 熟悉Flink集群搭建,代码编写,执行流程与运行机理。
5. 熟悉Hive原理,了解Hive中内部表、外部表、分桶表的使用,熟悉Hql语句以及UDF的编写
6. 熟悉Hbase的使用以及Hbase集群的搭建,了解Hbase底层存储原理
7. 熟练使用Flume进行日志收集以及数据的多级流动、扇入和扇出
8. 熟悉Kafka消息队列的消息处理,模式和分区机制
9. 了解calcite特性与源码。
本人JAVA基本功扎实,踏实肯干,热爱编码。喜欢挑战自我。
流式数据库项目
1. 负责SDK模块建设,运用thrift进行通信。实现JDBC接口,实现分布式连接和负载均衡。
2. 完成Task模块内部逻辑实现(增删改查)。
3. sql化复杂事件处理设计与代码编写。
4. 任务的zookeeper分布式锁的实现
5. flink3种启动方式获取任务名,任务状态,以及错误信息的获取代码实现。