大数据运维工程师
黑龙江财经学院数据科学与大数据技术就读 · 2年经验
 
日薪: ¥500/8h
地点: 北京 海淀
时间: 可工作日驻场(自由职业原因)
ID:427457 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Hadoop 分布式 MongoDB Hive Linux CentOS Ubuntu
我是大数据运维方向的开发者,具备Hadoop生态的独立部署与运维能力。能够完成从零开始在Linux服务器上搭建Hadoop集群(伪分布式/完全分布式/HA高可用),并完成Hive数据仓库、Azkaban工作流调度器、MongoDB等组件的安装与集成配置。

在Linux系统方面,熟悉CentOS 7/8及Ubuntu环境下的基本运维操作,包括网络配置、SSH免密登录、防火墙策略与SELinux安全策略调整,能够独立完成集群部署前的系统环境准备与优化。

在项目实践中,曾独立完成多节点Hadoop完全分布式集群的完整搭建流程,涵盖多台虚拟机网络规划、JDK环境配置、Hadoop安装包部署、多节点SSH免密互信配置、核心配置文件修改、集群启动与验证等关键环节。

具有较强的故障排查和文档整理能力,能够通过日志分析定位并解决部署过程中遇到的问题。目前正在持续学习Hadoop生态相关技术,期待通过技术接单积累更多实战经验。

项目名称:Hadoop 完全分布式集群搭建实践

项目简介:
本项目为一个基于 Hadoop 生态的大数据基础环境部署项目。项目需求是在多台 Linux 服务器上搭建 Hadoop 完全分布式集群,实现海量数据的分布式存储与计算。

我的职责:
本人独立完成了该 Hadoop 完全分布式集群的完整搭建与配置工作。

具体内容包括:
1. 多台虚拟机的创建与网络规划,基于 CentOS 7 操作系统完成基础环境配置;
2. JDK 环境安装与配置,Hadoop 安装包解压与部署;
3. 多节点 SSH 免密互信配置,实现主节点与从节点间的无密码通信;
4. 核心配置文件(core-site.xml、hdfs-site.xml、workers)的修改与优化,完成 HDFS 与 YARN 的分布式模式配置;
5. 集群启动与验证,通过 jps 命令和 Web 界面(9870 端口)确认 NameNode、DataNode 等进程正常运行。

项目成果:
该项目最终实现了多节点间的数据分布式存储,验证了 HDFS 的基本读写功能,为后续的数据处理与分析任务提供了稳定的大数据存储底座。

技术栈:
Hadoop、Linux(CentOS)、HDFS、YARN、Shell
  ID:427457 复制

 

大数据运维工程师 · 2年经验 · 黑龙江财经学院数据科学与大数据技术就读
城市北京 海淀 日薪500元/8h 时间 可工作日驻场(自由职业原因)
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Hadoop 分布式 MongoDB Hive Linux CentOS Ubuntu
我是大数据运维方向的开发者,具备Hadoop生态的独立部署与运维能力。能够完成从零开始在Linux服务器上搭建Hadoop集群(伪分布式/完全分布式/HA高可用),并完成Hive数据仓库、Azkaban工作流调度器、MongoDB等组件的安装与集成配置。

在Linux系统方面,熟悉CentOS 7/8及Ubuntu环境下的基本运维操作,包括网络配置、SSH免密登录、防火墙策略与SELinux安全策略调整,能够独立完成集群部署前的系统环境准备与优化。

在项目实践中,曾独立完成多节点Hadoop完全分布式集群的完整搭建流程,涵盖多台虚拟机网络规划、JDK环境配置、Hadoop安装包部署、多节点SSH免密互信配置、核心配置文件修改、集群启动与验证等关键环节。

具有较强的故障排查和文档整理能力,能够通过日志分析定位并解决部署过程中遇到的问题。目前正在持续学习Hadoop生态相关技术,期待通过技术接单积累更多实战经验。

项目经验

项目名称:Hadoop 完全分布式集群搭建实践

项目简介:
本项目为一个基于 Hadoop 生态的大数据基础环境部署项目。项目需求是在多台 Linux 服务器上搭建 Hadoop 完全分布式集群,实现海量数据的分布式存储与计算。

我的职责:
本人独立完成了该 Hadoop 完全分布式集群的完整搭建与配置工作。

具体内容包括:
1. 多台虚拟机的创建与网络规划,基于 CentOS 7 操作系统完成基础环境配置;
2. JDK 环境安装与配置,Hadoop 安装包解压与部署;
3. 多节点 SSH 免密互信配置,实现主节点与从节点间的无密码通信;
4. 核心配置文件(core-site.xml、hdfs-site.xml、workers)的修改与优化,完成 HDFS 与 YARN 的分布式模式配置;
5. 集群启动与验证,通过 jps 命令和 Web 界面(9870 端口)确认 NameNode、DataNode 等进程正常运行。

项目成果:
该项目最终实现了多节点间的数据分布式存储,验证了 HDFS 的基本读写功能,为后续的数据处理与分析任务提供了稳定的大数据存储底座。

技术栈:
Hadoop、Linux(CentOS)、HDFS、YARN、Shell
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏