猿急送>

北京运维兼职程序员

ID：427457

大数据运维工程师

公司信息：
黑龙江财经学院数据科学与大数据技术就读

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
可工作日驻场（自由职业原因）

所在区域：
北京
海淀

技术能力

我是大数据运维方向的开发者，具备Hadoop生态的独立部署与运维能力。能够完成从零开始在Linux服务器上搭建Hadoop集群（伪分布式/完全分布式/HA高可用），并完成Hive数据仓库、Azkaban工作流调度器、MongoDB等组件的安装与集成配置。

在Linux系统方面，熟悉CentOS 7/8及Ubuntu环境下的基本运维操作，包括网络配置、SSH免密登录、防火墙策略与SELinux安全策略调整，能够独立完成集群部署前的系统环境准备与优化。

在项目实践中，曾独立完成多节点Hadoop完全分布式集群的完整搭建流程，涵盖多台虚拟机网络规划、JDK环境配置、Hadoop安装包部署、多节点SSH免密互信配置、核心配置文件修改、集群启动与验证等关键环节。

具有较强的故障排查和文档整理能力，能够通过日志分析定位并解决部署过程中遇到的问题。目前正在持续学习Hadoop生态相关技术，期待通过技术接单积累更多实战经验。

项目经验

项目名称：Hadoop 完全分布式集群搭建实践

项目简介：
本项目为一个基于 Hadoop 生态的大数据基础环境部署项目。项目需求是在多台 Linux 服务器上搭建 Hadoop 完全分布式集群，实现海量数据的分布式存储与计算。

我的职责：
本人独立完成了该 Hadoop 完全分布式集群的完整搭建与配置工作。

具体内容包括：
1. 多台虚拟机的创建与网络规划，基于 CentOS 7 操作系统完成基础环境配置；
2. JDK 环境安装与配置，Hadoop 安装包解压与部署；
3. 多节点 SSH 免密互信配置，实现主节点与从节点间的无密码通信；
4. 核心配置文件（core-site.xml、hdfs-site.xml、workers）的修改与优化，完成 HDFS 与 YARN 的分布式模式配置；
5. 集群启动与验证，通过 jps 命令和 Web 界面（9870 端口）确认 NameNode、DataNode 等进程正常运行。

项目成果：
该项目最终实现了多节点间的数据分布式存储，验证了 HDFS 的基本读写功能，为后续的数据处理与分析任务提供了稳定的大数据存储底座。

技术栈：
Hadoop、Linux（CentOS）、HDFS、YARN、Shell