安装Hadoop预备知识

1、单机模式、伪分布模式、分布式模式

• 单机模式和伪分布模式主要用于开发和测试环境，它们在单台机器上模拟分布式系统的不同方面。
• 分布式模式是生产环境中的部署方式，它在多台机器上运行，以实现真正的并行处理和负载均衡。
• 名称节点和数据节点是 HDFS 的两个关键组件，分别负责文件系统的管理和数据的存储
  
• 单机模式（Single Node Mode）
  定义：在单机模式下，所有的分布式计算组件都运行在同一台机器上。这种模式主要用于开发和测试，因为它可以简化配置和部署过程。
  特点：没有网络通信开销，所有操作都在本地进行，但无法模拟真实的分布式环境。
• 伪分布模式（Pseudo-Distributed Mode）
  定义：伪分布模式是分布式计算框架的另一种配置，它在单台机器上模拟分布式系统的行为。与单机模式不同，伪分布模式会启动多个进程，每个进程模拟一个分布式系统中的不同节点。
  特点：虽然所有进程都在一台机器上运行，但它们之间会通过网络通信，以模拟分布式环境中的节点间通信。这种模式适用于测试分布式系统的功能。
• 分布式模式（Distributed Mode）
  定义：在分布式模式下，计算框架的组件分布在多台机器上，每台机器都扮演一个或多个节点的角色。这是生产环境中最常见的部署方式。
  特点：可以充分利用集群资源，提高计算和存储能力。网络通信成为性能的关键因素，需要考虑数据传输和节点间协调。
• 名称节点（NameNode）
  定义：在 Hadoop分布式文件系统（HDFS）中，名称节点是主控节点，负责管理文件系统的命名空间和客户端对文件的访问。
  职责：名称节点存储了文件系统的元数据，包括文件和目录的名称、权限、修改时间等，以及文件到数据块的映射信息。它不存储实际的数据块，这些数据块存储在数据节点上。
• 数据节点（DataNode）
  定义：数据节点是 HDFS 中的工作节点，负责存储实际的数据块并响应名称节点的命令。
  职责：数据节点执行数据块的创建、删除和复制等操作，同时定期向名称节点报告自己的状态和存储的数据块信息。
  

2、Hadoop安装包目录结构

3、HDFS的结构与管理

原文地址：https://blog.csdn.net/2301_78696436/article/details/142205044

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！