技术:1. 熟悉Java/Python/Scala开发语言,有扎实的面向对象和函数式编程功底 2. 熟悉Linux开发环境,熟悉常用Linux操作命令,能完成简单的Shell脚本的编写 3. 熟悉Hadoop生态圈,能独立完成Hadoop集群的搭建,熟悉HDFS的分布式读写流程
项目:项目一:政务大数据协同BM监管(BM局项目) 1. 开发环境:Linux+Python3.7.4 2. 软件架构:Zookeeper3.6.1、Kafka2.5、KafkaEagleRedis6.0.5、Nginx(国密)、Mysql、Elasticsearch7.3 3.
案例: 羲和数据中台的统一数据模型及数据