搭建hadoop+spark完全分布式集群环境

主机名	操作系统	地址	角色	硬件配置
master	Centos	10.1.0.248	namenode	2g 1核
slaver1	Centos	10.1.0.94	datanode	1g 1核
slaver2	Centos	10.1.0.31	datanode	1g 1核

二、更改主机名

分别修改主机名文件（重启永久生效）

sudo vi /etc/sysconfig/network

三、建立主机名和ip的映射

sudo vi /etc/hosts

拷贝到slave1和slave2中

四、关闭防火墙（master，slave1，slave2）

关闭防火墙：sudo service iptables stop

关闭防火墙自启：sudo chkconfig iptables off

五、配置ssh免密码登录

ssh-keygen -t rsa

ssh-copy-id mast

原文地址：https://blog.csdn.net/weixin_46305053/article/details/140394708

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：WPF学习(5) -- WPF绑定
下一篇：探索 `DatagramSocket` 类

sql server 查看io资源使用
如果输出physical reads 或者 read-ahead reads 大于0 ，则表示有物理读取。
阅读更多2024-11-14
opencv入门学习总结
import cv2 # 返回当前安装的 OpenCV 库的版本信息并且是字符串格式 print(cv2 . getVersionString()) """作用：它可以
阅读更多2024-11-14
stable-diffusion-3 ，每天免费试用
官方space，童叟无欺，科学试用。
阅读更多2024-11-14
AI绘画经验（stable-diffusion）
在Stable Diffusion中，编码器将图像压缩成一个较小的Latent特征向量，这个向量包含了图像的关键信息，并且可以作为U-Net的输入。在Stable Diffusion中，文本编码器用于
阅读更多2024-11-14
【Linux网络编程】Socket编程--TCP：echo server | 多线程远程命令执行
【Linux网络编程】Socket编程--TCP：echo server | 多线程远程命令执行
阅读更多2024-11-14
vLLM×Milvus：如何高效管理GPU内存，减少大模型幻觉
大语言模型（LLM）是功能丰富且强大的 AI 系统，能够解决各个领域内的众多问题。它们的发展速度非常快，新模型不断被频繁推出。通常，新推出的 LLM 在处理各种任务时的性能更好。例如 Mistral、
阅读更多2024-11-14
一个功能强大的文档解析和转换工具，支持PDF、DOCX、PPTX和Markdown等
Docling是一个功能强大的文档解析和转换工具，支持多种文档格式，提供先进的PDF理解功能，并允许用户将文档转换为Markdown和JSON格式。它还具有元数据提取、OCR支持、无缝集成以及其他高级
阅读更多2024-11-14
计算机网络：运输层 —— TCP 协议概述与 TCP 报文段首部格式
传输控制协议（Transmission Control Protocol，TCP）协议是互联网上最常用的传输层协议之一，它负责提供可靠的端到端数据传输服务。TCP 协议采用连接导向的通信方式，通过三次
阅读更多2024-11-14
MySQL常见面试题
MySQL常见面试题
阅读更多2024-11-14
《Redis 实战基础、持久化机制及与 MySQL 一致性解决方案》
本文探讨了Redis的持久化机制及其在不同场景下的应用，并简要介绍了与MySQL数据同步的一致性解决方案。希望这些内容能帮助读者更好地理解和使用Redis，提升应用系统的性能和可靠性。
阅读更多2024-11-14

搭建hadoop+spark完全分布式集群环境

一、集群规划

二、更改主机名

三、建立主机名和ip的映射

四、关闭防火墙（master，slave1，slave2）

五、配置ssh免密码登录

相关文章