项目名称:Hadoop 完全分布式集群搭建实践
项目简介:
本项目为一个基于 Hadoop 生态的大数据基础环境部署项目。项目需求是在多台 Linux 服务器上搭建 Hadoop 完全分布式集群,实现海量数据的分布式存储与计算。
我的职责:
本人独立完成了该 Hadoop 完全分布式集群的完整搭建与配置工作。
具体内容包括:
1. 多台虚拟机的创建与网络规划,基于 CentOS 7 操作系统完成基础环境配置;
2. JDK 环境安装与配置,Hadoop 安装包解压与部署;
3. 多节点 SSH 免密互信配置,实现主节点与从节点间的无密码通信;
4. 核心配置文件(core-site.xml、hdfs-site.xml、workers)的修改与优化,完成 HDFS 与 YARN 的分布式模式配置;
5. 集群启动与验证,通过 jps 命令和 Web 界面(9870 端口)确认 NameNode、DataNode 等进程正常运行。
项目成果:
该项目最终实现了多节点间的数据分布式存储,验证了 HDFS 的基本读写功能,为后续的数据处理与分析任务提供了稳定的大数据存储底座。
技术栈:
Hadoop、Linux(CentOS)、HDFS、YARN、Shell