ubuntu 24.04 安装 Hadoop 3.5.0 完整教程

本教程详细介绍如何在 Ubuntu 系统中安装和配置 Hadoop 3.5.0,涵盖安装包下载、解压、环境变量配置、核心配置文件修改、数据目录创建、SSH 免密登录以及 Hadoop 服务启动。完成配置后,可通过 JPS 查看运行进程,并访问 Web 管理界面,快速搭建属于自己的 Hadoop 单机伪分布式环境。
1
下载镜像




12
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.5.0/ 如图1所示这个链接是清华大学的镜像站
我们可以下载我们需要的 hadoop-3.5.0-aarch64.tar.gz 如图2所示
大家也可以直接在附件中进行下载
2
解压




12
- 首先把下载好的文件上传到ubuntu系统 或者服务器 如图1所示
- 然后 进行解压 tar -xvzf hadoop-3.5.0-aarch64.tar.gz 输入这个命令 如图2所示
3
环境变量





123
- 输入命令 sudo vim ~/.profile 进行编辑环境变量
- 然后在文件末尾加上 export HADOOP_HOME=/usr/local/app/hadoop-3.5.0 如图1所示 然后保存
- 然后输入 source ~/.profile 进行生效
- 然后可以输入 hadoop version 验证 如图3所示
4
编辑配置






1234
- 进入到etc下面的hadoop里面
- 然后编辑文件 vim core-site.xml 然后把以下内容加入到配置中 记得改变路径如图1所示
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/app/hadoop-3.5.0/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
- 然后编辑文件 vim hdfs-site.xml 然后把以下内容加入到配置中 记得改变路径如图2所示
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/app/hadoop-3.5.0/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/app/hadoop-3.5.0/tmp/dfs/data</value>
</property>
- 然后查询java的路径 echo $JAVA_HOME 如图3
- 编辑文件 vim hadoop-env.sh 然后把自己的路径加进去 如图4 export JAVA_HOME="/usr/lib/jvm/java-21-openjdk-amd64"
5
数据目录




12
- 如图1所示 进入hadoop 目录下
- # 创建临时目录(hadoop.tmp.dir) 如图2
sudo mkdir -p tmp/dfs/name # NameNode 数据存储目录
sudo mkdir -p tmp/dfs/data # DataNode 数据存储目录
sudo mkdir -p logs # 日志目录(如果不存在)
- 配置目录权限
sudo chown -R ubuntu:ubuntu tmp # 递归修改 tmp 目录权限
sudo chmod -R 755 tmp # 设置目录权限为 755(rwxr-xr-x)
sudo chown -R ubuntu:ubuntu logs # 日志目录权限(如果已存在则修改)
6
添加角色




12
- 输入命令 adduser hadoop 创建一个hadoop 角色
- id hadoop 检查用户
- chown -R hadoop:hadoop /usr/local/app/hadoop-3.5.0 给目录进行授权
- 然后输入 su hadoop 切换到hadoop 角色
- 然后来配置ssh免密登录
先检查 SSH:
ssh localhost
如果提示输入密码,说明还没有配置免密登录。
生成 SSH 密钥:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
出现确认提示时按回车即可。
配置公钥:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
设置权限:
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
chmod 600 ~/.ssh/id_rsa
7
运行hadoop






1234
- 输入命令 bin/hdfs namenode -format 如图1所示
- 然后 开启NameNode和DataNode守护进程 输入命令 sbin/stop-dfs.sh && sbin/start-dfs.sh 如图2所示
- 然后可以jps 输入一下进程信息 如图4
8
访问




12
- 如果是云服务器记得把防火墙打开 如图1
- http://ip:9870/ 然后就可以访问了
0
0
0
qq空间
微博
复制链接
分享 更多相关项目
猜你喜欢
评论/提问(已发布 0 条)
0