ubuntu 24.04 安装 Hadoop 3.5.0 完整教程


头像
洸
原创
发布时间: 2026-11-19 18:49:14 | 阅读数 0收藏数 0评论数 0
封面
本教程详细介绍如何在 Ubuntu 系统中安装和配置 Hadoop 3.5.0,涵盖安装包下载、解压、环境变量配置、核心配置文件修改、数据目录创建、SSH 免密登录以及 Hadoop 服务启动。完成配置后,可通过 JPS 查看运行进程,并访问 Web 管理界面,快速搭建属于自己的 Hadoop 单机伪分布式环境。
1

下载镜像

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.5.0/ 如图1所示这个链接是清华大学的镜像站

我们可以下载我们需要的 hadoop-3.5.0-aarch64.tar.gz 如图2所示

大家也可以直接在附件中进行下载


2

解压

  1. 首先把下载好的文件上传到ubuntu系统 或者服务器 如图1所示
  2. 然后 进行解压 tar -xvzf hadoop-3.5.0-aarch64.tar.gz 输入这个命令 如图2所示
3

环境变量

  1. 输入命令 sudo vim ~/.profile 进行编辑环境变量
  2. 然后在文件末尾加上 export HADOOP_HOME=/usr/local/app/hadoop-3.5.0 如图1所示 然后保存
  3. 然后输入 source ~/.profile 进行生效
  4. 然后可以输入 hadoop version 验证 如图3所示
4

编辑配置

  1. 进入到etc下面的hadoop里面
  2. 然后编辑文件 vim core-site.xml 然后把以下内容加入到配置中 记得改变路径如图1所示
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/app/hadoop-3.5.0/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
  1. 然后编辑文件 vim hdfs-site.xml 然后把以下内容加入到配置中 记得改变路径如图2所示
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/app/hadoop-3.5.0/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/app/hadoop-3.5.0/tmp/dfs/data</value>
</property>
  1. 然后查询java的路径 echo $JAVA_HOME 如图3
  2. 编辑文件 vim hadoop-env.sh 然后把自己的路径加进去 如图4 export JAVA_HOME="/usr/lib/jvm/java-21-openjdk-amd64"
5

数据目录

  1. 如图1所示 进入hadoop 目录下
  2. # 创建临时目录(hadoop.tmp.dir) 如图2
sudo mkdir -p tmp/dfs/name # NameNode 数据存储目录
sudo mkdir -p tmp/dfs/data # DataNode 数据存储目录
sudo mkdir -p logs # 日志目录(如果不存在)
  1. 配置目录权限
sudo chown -R ubuntu:ubuntu tmp # 递归修改 tmp 目录权限
sudo chmod -R 755 tmp # 设置目录权限为 755(rwxr-xr-x)
sudo chown -R ubuntu:ubuntu logs # 日志目录权限(如果已存在则修改)


6

添加角色

  1. 输入命令 adduser hadoop 创建一个hadoop 角色
  2. id hadoop 检查用户
  3. chown -R hadoop:hadoop /usr/local/app/hadoop-3.5.0 给目录进行授权
  4. 然后输入 su hadoop 切换到hadoop 角色
  5. 然后来配置ssh免密登录

先检查 SSH:

ssh localhost

如果提示输入密码,说明还没有配置免密登录。

生成 SSH 密钥:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

出现确认提示时按回车即可。

配置公钥:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

设置权限:

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
chmod 600 ~/.ssh/id_rsa


7

运行hadoop

  1. 输入命令 bin/hdfs namenode -format 如图1所示
  2. 然后 开启NameNode和DataNode守护进程 输入命令 sbin/stop-dfs.sh && sbin/start-dfs.sh 如图2所示
  3. 然后可以jps 输入一下进程信息 如图4
8

访问

  1. 如果是云服务器记得把防火墙打开 如图1
  2. http://ip:9870/ 然后就可以访问了
阅读记录0
点赞0
收藏0
禁止 本文未经作者允许授权,禁止转载
猜你喜欢
评论/提问(已发布 0 条)
头像
评论 评论
收藏 收藏
分享 分享
pdf下载 下载
pdf下载 举报