自学内容网 自学内容网

搭建hadoop+spark完全分布式集群环境

目录

一、集群规划

二、更改主机名

 三、建立主机名和ip的映射

四、关闭防火墙(master,slave1,slave2)

五、配置ssh免密码登录

六、安装JDK

七、hadoop之hdfs安装与配置

1)解压Hadoop

2)修改hadoop-env.sh

3)修改 core-site.xml

4)修改hdfs-site.xml

5) 修改slave

八、配置hadoop环境变量

九、将hadoop拷贝到其他主机、

十、格式化元数据目录

十一、下载安装spark

十二、配置文件修改

1)复制模板文件

2)配置spark-env.sh(增加环境变量)

3) 配置slaves

4) 将master配置好的spark 拷贝到slave1,slave2

5) 配置环境变量

6)启动与验证

7)提交jar 包并观察验证

一、集群规划

主机名

操作系统

地址

角色

硬件配置

master

Centos

10.1.0.248

namenode

2g 1核

slaver1

Centos

10.1.0.94

datanode

1g 1核

slaver2

Centos

10.1.0.31

datanode

1g 1核

二、更改主机名

分别修改主机名文件(重启永久生效)

sudo vi  /etc/sysconfig/network

 三、建立主机名和ip的映射

sudo vi /etc/hosts

 拷贝到slave1和slave2中

四、关闭防火墙(master,slave1,slave2

关闭防火墙:sudo service iptables stop  

关闭防火墙自启:sudo chkconfig iptables off

五、配置ssh免密码登录

ssh-keygen -t rsa

ssh-copy-id mast


原文地址:https://blog.csdn.net/weixin_46305053/article/details/140394708

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!