HDFS完全分布模式安装部署
本次实验请在hadoop01、hadoop02和hadoop03上完成
实验步骤
- 前提条件：ZooKeeper集群模式已经部署完成。
- 获取安装包：安装包在本地：可通过XFTP等工具进行上传；安装包在网络：虚拟机可以访问互联网：可直接通过wget命令将安装包下载到虚拟机中；虚拟机无法访问互联网：需要提前将安装包下载到本地磁盘中，再通过上传工具上传到虚拟机中
- 对安装包进行解压缩
- 对解压缩出来的安装目录进行重命名
- 配置环境变量
- 刷新环境变量
- 验证是否安装成功
- 修改Hadoop的相关配置文件
- 修改core-site.xml配置文件
- 修改hdfs-site.xml配置文件
- 修改mapred-site.xml配置文件
- 修改yarn-site.xml配置文件
- 修改hadoop-env.sh配置文件
- 修改slaves文件
- 将修改好的文件和目录分发给集群中其他节点
- 分发hadoop的安装目录
- 分发profile环境变量文件
- 格式化NameNode
- 启动HDFS的服务进程
实验过程
步骤1 通过XFTP工具（其他工具也可以）将hadoop的安装包上传到虚拟机中
步骤2 查看软件包是否上传成功
[root@hadoop01 ~]# ll
输出结果，如下图所示（有红框里面的就可以了）
步骤3 将hadoop的安装包解压到指定的安装目录
[root@hadoop01 ~]# tar -zxvf hadoop-2.7.7.tar.gz -C /opt/install/
步骤4 对解压出来的安装目录进行重命名
[root@hadoop01 install]# cd /opt/install/
[root@hadoop01 install]# mv hadoop-2.7.7/ hadoop
输出结果，如下图所示
步骤5 配置Hadoop的环境变量
[root@hadoop01 install]# vim /etc/profile
export HADOOP_HOME=/opt/install/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
输出结果，如下图所示
步骤6 刷新环境变量，使新增的环境变量生效
[root@hadoop01 install]# source /etc/profile
步骤7 验证Hadoop是否已经安装成功
[root@hadoop01 install]# hadoop version
输出结果，如下图所示
步骤8 切换到hadoop配置文件所在的目录
[root@hadoop01 install]# cd hadoop/etc/hadoop/
步骤9 修改core-site.xml配置文件
[root@hadoop01 hadoop]# vim core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/17.12.31/install/hadoop/hdfs</value>
</property>
输出结果， 如下图所示
步骤10 修改hdfs-site.xml配置文件
[root@hadoop01 hadoop]# vim hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:9001</value>
</property>
输出结果，如下图所示
步骤11 修改mapred-site.xml配置文件
[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@hadoop01 hadoop]# vim mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
输出结果，如下图所示
步骤12 修改yarn-site.xml配置文件
[root@hadoop01 hadoop]# vim yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
输出结果，如下图所示
步骤13 修改hadoop-env.sh配置文件
[root@hadoop01 hadoop]# vim hadoop-env.sh
export JAVA_HOME=/opt/install/java
输出结果，如下图所示
步骤14 修改slaves配置文件
[root@hadoop01 hadoop]# vim slaves
hadoop01
hadoop02
hadoop03
输出结果，如下图所示
步骤15 将hadoop的安装目录分发给集群中的其他节点
[root@hadoop01 hadoop]# cd /opt/install/
[root@hadoop01 install]# scp -r hadoop/ hadoop02:/opt/install/
[root@hadoop01 install]# scp -r hadoop/ hadoop03:/opt/install/
步骤16 将修改后的profile文件分发给集群中其他节点
[root@hadoop01 install]# scp /etc/profile hadoop02:/etc/
[root@hadoop01 install]# scp /etc/profile hadoop03:/etc/
输出结果，如下图所示
步骤17 格式化NameNode
[root@hadoop01 install]# hdfs namenode -format
输出结果，如下图所示
步骤18 启动HDFS服务进程
[root@hadoop01 install]# start-all.sh
输出结果，如下图所示
步骤19 验证节点服务启动状况
输出结果，如下图所示
步骤20 通过网页的方式进行验证
登录web的方式：http://ipaddress:50070
如：http://192.168.46.128:50070
该页面由NameNode进程提供
查询DataNode节点的状况
原文地址：https://blog.csdn.net/2302_78444522/article/details/144332634
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！