厦门大学数据库实验室林子雨Hadoop3.1.3单机/伪分布式安装
环境(这里使用Ubuntu18.04 64位为系统环境)
-
首先安装vmware可以看这下面博客步骤简单易懂
vmware-17虚拟机安装教程(保姆级,包含图文讲解,不需注册账户)_vmware17-CSDN博客文章浏览阅读10w+次,点赞368次,收藏900次。本文详细介绍了如何从VMware官网下载并安装WorkstationPro,包括破解步骤,提供了多个可用的许可证密匙。教程涵盖了下载链接、安装过程、以及选择正版或使用破解密匙的选项。https://blog.csdn.net/Du_XiaoNan/article/details/136138427?fromshare=blogdetail&sharetype=blogdetail&sharerId=136138427&sharerefer=PC&sharesource=G46829362&sharefrom=from_link -
下载Ubuntu镜像文件可以通过官网下载Ubuntu Releases
创建用户
我个人建议不创建,也省去给创建的用户添加权限问题,减少不必要的代码(这个看个人喜好,当然如果还是想创建也是没有问题的,我这里就不创建——就用root来做了)
更新apt
sudo apt-get update
sudo apt-get install vim
报错:E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarily unavailable)E: Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend), is another process using it?
解决:先查看有哪些进程正在进行
ps -A|grep apt
然后出现了进程号以及相关信息
将apt相关的进程统统杀死
sudo kill -9 2668
sudo kill -9 2943
sudo kill -9 2947
再重新安装vim,就成功了
安装ssh、配置ssh免密登录
关于这一块我遇到的问题就比较多了
#安装SSH serve
sudo apt-get install openssh-server
#登录本机命令
ssh localhost
报错1:Permission denied, please try again.
解决:先 exit 退出,然后:
sudo vi /etc/ssh/sshd_config
- 按
i
进入编辑模式,将参数PermitRootLogin
的值修改为yes
: - 修改完成后,按下 按下
ESC
,输入:wq!
,按下回车保存并退出; - 重启ssh服务
service sshd restart
- 重新登录即可
ssh localhost
如若还是再次出现错误,可先直接进行免密,
然后再安装一次openssh-server,就可以免密登录了
报错2: connect to host localhost port 22: Connection refused
解决:
- 确认OpenSSH-server是否安装
sudo apt list --installed | grep openssh-server
- 如果没有安装,需要进行安装
我到这里就解决了sudo apt install openssh-server
这里就是登录成功啦~
然后我们来看到ssh的免密登陆
第一步:
ssh-keygen -t rsa
这里不要输入任何,一直回车就行了(这边主要就是公私密匙的位置和密码,直接回车默认即可) ,我们会看到存储的位置(我的是在:/root/.ssh/),输入“ls”就可以看到我们所存储的密匙了
第二步:有两种命令可使用
# 第一种
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 第二种
ssh-copy-id root@localhost
第一种:
第二种:
安装Java、hadoop、单机配置(此处最好建立快照,方便后续的集群安装准备)、伪分布式
伪分布式中开启namenode和datanode守护进程之前需要配置文件(如下),然后再开启才不会报错
cd /usr/local/hadoop/sbin
vim start-dfs.sh
HDFS_ZKFC_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
vim stop-dfs.sh
HDFS_ZKFC_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
第一次写博客,想把自己在一个项目所遇到的问题都集中起来,关于林子雨老师的这篇博客的安装心得这是第一篇,后续还会更新。亲测有效!望多多支持!!
原文地址:https://blog.csdn.net/G46829362/article/details/143248142
免责声明:本站文章内容转载自网络资源,如侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!