本项目为 Hadoop 完全分布式集群的搭建与配置,基于三台 CentOS 7 虚拟机,实现了 HDFS 分布式存储和 YARN 资源调度的完整部署。
本人独立完成了全部搭建工作,包括三台节点网络规划、静态 IP 配置、主机名映射、SSH 免密登录配置、JDK 环境安装、Hadoop 安装包解压与部署,以及 core-site.xml、hdfs-site.xml、workers 等核心配置文件的修改与优化。
项目实现了 NameNode、DataNode、ResourceManager、NodeManager 等核心进程的正常运行,并通过 Web 界面(9870 端口)验证了集群状态。在搭建过程中解决了网络配置、JAVA_HOME 路径设置、Hadoop 3.x 版本 root 用户启动权限等关键问题,具备从零开始部署 Hadoop 集群的实际操作能力。