hdfs命令

HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本，HDFS提供了一套强大的命令行工具，通过这些工具，用户可以执行从基本的文件操作到复杂的集群管理任务
NameNode（名称节点）：它是HDFS的主服务器，负责管理文件系统的命名空间和客户端对文件的访问。
DataNode（数据节点）：在HDFS中，实际的数据被存储在DataNode上。
块（Block）：HDFS将文件分割成块大小的多个片段，每个块默认为128MB（在早期版本中为64MB）。
 bin/hdfs dfs -ls -e /yarn/logs

hdfs version    查看版本
hdfs dfs -help    获取帮助
hdfs dfs -ls <path>    查看指定路径下的所有文件
hdfs dfs -mkdir <path>    创建目录
hdfs dfs -rm <path>    删除文件或者目录（删除目录需要加上 -r）
hdfs dfs -get <hdfs_path> <local_path>    从HDFS下载文件到本地
hdfs dfs -put <local_path> <hdfs_path>    从本地上传文件至HDFS
hdfs dfs -cat <file>    查看文件内容
hdfs dfs -mv <source> <target>    移动或重命名文件
hdfs dfs -cp <source> <target>    拷贝文件
hdfs dfs -cp /202012721/data.txt /202012721/data_copy.txt

hdfs dfs -find <path> -name <file>    在指定路径中查找文件
hdfs dfs -cp <source> <target>    拷贝文件
hdfs dfs -touchz <file>    创建一个空文件
hdfs dfs -du -h <path>    显示文件的大小或者目录中所有文件的大小
hdfs dfs -chmod 777 <path>    改变文件或目录的权限（777 只是一个示例）
hdfs dfs -df -h    显示HDFS的容量和使用情况

hdfs 是 Hadoop 系统在 Linux 系统中的主命令；dfs 是子命令，表示执行文件系统操作
hdfs dfs -appendToFile <本地路径> <目标路径>
hdfs dfs -appendToFile data3.txt /202012721/data.txt
hdfs dfs -cat /202012721/data.txt
显示 HDFS 根目录中 202012721 文件夹下所有文件的大小
hdfs dfs -du /202012721
hdfs dfsadmin 开头的命令。通过这些命令，用户可以管理 HDFS。
报告文件系统的基本信息和统计信息
hdfs dfsadmin -report

使用JavaA

pi进行管理HDFS，Idea导入hadoop jar包

-h：以人类可读的格式显示文件大小
-R：递归地列出目录及其子目录。
-p：如果父目录不存在，则创建它们。
开启集群 start-dfs.sh
关闭集群  stop-dfs.sh
stop-all.sh 全部关闭
hadoop fs命令可以用于其他文件系统，不止是hdfs文件系统内，也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系统。而hdfs dfs命令只用于HDFS文件系统；

checknative检查hadoop的原生代码，一般人用不到，使用语法：hadoop checknative [-a] [-h]
classpath，打印hadoop jar或者库的类路径，hadoop classpath [–glob |–jar |-h |–help]
distributed copy的缩写（望文生义),主要用于集群内/集群之间 复制文件。
使用语法：hadoop distcp [-option] hdfs://source hdfs://dest
每个数据节点中的每个块池都是平衡的，则群集是平衡的.
dfs dfsadmin  报告基本的文件系统信息和统计信息，包括测量所有dns上的复制、校验和、快照等使用的原始空间。
hdfs haadmin -checkHealth <serviceId>  #检查给定namenode的运行状况
hdfs getconf -namenodes #获取namenode节点
hdfs getconf -secondaryNameNodes #获取secondaryNameNodes节点
hdfs getconf -backupNodes  #获取群集中备份节点的列表

原文地址：https://blog.csdn.net/m0_62975692/article/details/140616713

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！