自学内容网 自学内容网

厦门大学数据库实验室林子雨Hadoop3.1.3单机/伪分布式安装

林子雨老师博客网址:Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客icon-default.png?t=O83Ahttps://dblab.xmu.edu.cn/blog/2441/#more-2441


环境(这里使用Ubuntu18.04 64位为系统环境)

           


创建用户

        我个人建议不创建,也省去给创建的用户添加权限问题,减少不必要的代码(这个看个人喜好,当然如果还是想创建也是没有问题的,我这里就不创建——就用root来做了)

更新apt

sudo apt-get update
sudo apt-get install vim

报错:E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarily unavailable)E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), is another process using it?

解决:先查看有哪些进程正在进行

ps -A|grep apt

然后出现了进程号以及相关信息

将apt相关的进程统统杀死

sudo kill -9 2668
sudo kill -9 2943
sudo kill -9 2947

 再重新安装vim,就成功了

安装ssh、配置ssh免密登录

关于这一块我遇到的问题就比较多了

#安装SSH serve
sudo apt-get install openssh-server
#登录本机命令
ssh localhost

报错1:Permission denied, please try again.

解决:先 exit 退出,然后:

sudo vi /etc/ssh/sshd_config

 如若还是再次出现错误,可先直接进行免密,

然后再安装一次openssh-server,就可以免密登录了

报错2: connect to host localhost port 22: Connection refused

解决:

  • 确认OpenSSH-server是否安装
    sudo apt list --installed | grep openssh-server
  • 如果没有安装,需要进行安装
    sudo apt install openssh-server
     我到这里就解决了

这里就是登录成功啦~

然后我们来看到ssh的免密登陆 

第一步:

ssh-keygen -t rsa

这里不要输入任何,一直回车就行了(这边主要就是公私密匙的位置和密码,直接回车默认即可) ,我们会看到存储的位置(我的是在:/root/.ssh/),输入“ls”就可以看到我们所存储的密匙了

 第二步:有两种命令可使用

# 第一种
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 第二种
ssh-copy-id root@localhost

 第一种:

 第二种:

 安装Java、hadoop、单机配置(此处最好建立快照,方便后续的集群安装准备)、伪分布式

伪分布式中开启namenode和datanode守护进程之前需要配置文件(如下),然后再开启才不会报错

cd /usr/local/hadoop/sbin
vim start-dfs.sh

HDFS_ZKFC_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root

vim stop-dfs.sh

HDFS_ZKFC_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root

        第一次写博客,想把自己在一个项目所遇到的问题都集中起来,关于林子雨老师的这篇博客的安装心得这是第一篇,后续还会更新。亲测有效!望多多支持!!


原文地址:https://blog.csdn.net/G46829362/article/details/143248142

免责声明:本站文章内容转载自网络资源,如侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!