初试HDFS Shell

实战介绍

大家好，今天我们将一起学习Hadoop分布式文件系统（HDFS）的Shell操作。通过本实战，你将掌握如何使用HDFS Shell来查看目录、创建目录、上传文件、查看文件内容以及删除文件和目录。

查看目录

首先，我们来学习如何查看HDFS中的目录内容。使用以下命令：

hdfs dfs -ls <路径>

例如，要查看根目录下的文件和文件夹，执行命令：

hdfs dfs -ls /

这将列出根目录下的所有内容。

创建目录

接下来，我们学习如何创建目录。

创建单层目录

使用命令：

hdfs dfs -mkdir <单层目录>

例如，创建一个名为/BigData的目录：

hdfs dfs -mkdir /BigData

在slave1节点上查看新建的目录。

创建多层目录

使用命令：

hdfs dfs -mkdir -p <多层目录>

例如，在slave1节点上执行命令创建多层目录：

hdfs dfs -mkdir -p /china/sichuan/luzhou/lzy

在master节点上查看新建的多层目录。-p参数表示递归创建所有必需的父目录。

上传文件

现在，我们学习如何将文件上传到HDFS。

使用命令：

hdfs dfs -put <文件> <路径>

例如，将/etc/hosts文件上传到/BigData目录：

hdfs dfs -put /etc/hosts /BigData

在slave1节点上查看上传的文件。

修改副本数

你可以使用以下命令修改文件的副本数：

hdfs dfs -setrep <副本数> <文件>

例如，将/etc/profile文件的副本数设置为3：

hdfs dfs -setrep 3 /BigData/profile

然后使用ls命令查看文件的副本数是否已修改：

hdfs dfs -ls /BigData/profile

查看文件内容

要查看文件内容，使用命令：

hdfs dfs -cat <文件>

例如，查看/BigData/hosts文件的内容：

hdfs dfs -cat /BigData/hosts

删除文件

要删除文件，使用命令：

hdfs dfs -rm <文件>

例如，删除/BigData/hosts文件：

hdfs dfs -rm /BigData/hosts

然后查看文件是否真的被删除。

删除目录

删除空目录

使用命令：

hdfs dfs -rmdir <空目录>

例如，删除/BigData目录：

hdfs dfs -rmdir /BigData

但在此之前，需要删除该目录下的所有文件，例如：

hdfs dfs -rm /BigData/profile

然后再次尝试删除目录，并查看目录是否真的被删除。

删除非空目录

使用命令：

hdfs dfs -rm -r <目录>

例如，删除非空目录/china/sichuan/luzhou/lzy：

hdfs dfs -rm -r /china/sichuan/luzhou/lzy

验证目录是否被删除。

结束语

通过本实战，你已经学会了HDFS Shell的基本操作，包括查看目录、创建目录、上传文件、查看文件内容以及删除文件和目录。这些技能对于管理和维护Hadoop集群非常重要。

原文地址：https://blog.csdn.net/howard2005/article/details/142850536

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！