大数据实战之Zookeeper集群

1、配置Linux Hosts文件

vim /etc/hosts

添加
192.168.20.123 hadoop03
2、时钟同步

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3、安装ntp
先检查是否安装ntp

rpm -qa | grep ntp

如果没有安装，则安装ntp

yum install -y ntp

注：如果虚拟机不能yum安装，是因为原镜像是境外网站，我们需要将yum镜像修改为国内

1. 备份现有的 yum 配置
   在修改配置前，建议备份原有的 yum 源文件，以便出现问题时可以恢复。
   sudo cp -r /etc/yum.repos.d /etc/yum.repos.d.bak
2. 替换默认的 yum 源为国内镜像
   删除或重命名默认的 .repo 文件：
   sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
   下载国内镜像的 .repo 文件并替换：
   阿里云镜像：
   sudo curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
   清华大学镜像：
   sudo curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.tuna.tsinghua.edu.cn/repo/CentOS-7.repo
   清理缓存并重新生成：
   sudo yum clean all
   sudo yum makecache

4、启动、配置ntp

sudo systemctl enable ntpd.service

检查 NTP 服务状态
查看服务运行状态：

sudo systemctl status ntpd.service

重启服务：

sudo systemctl restart ntpd.service

验证 NTP 同步状态：

ntpq -p

如果输出列出 NTP 服务器信息，说明服务已正常工作。

配置ntp（主节点）

vi /etc/ntp.conf

启用restrict限定该机器网段
restrict 192.168.20.123 mask 255.255.255.0 nomodify notrap
注释掉server域名配置
#server …
添加下面两行配置，让本机和本地硬件时间同步
server 127.127.1.0
fudge 127.127.1.0 stratum 10

子节点执行：

/usr/sbin/ntpdate hadoop03

或者定时同步：

crontab -e

0-59/10 * * * * /usr/sbin/ntpdate hadoop03

5、集群ssh免密登录
将hadoop03的公钥id_ras.pub复制到主节点中的authorized_keys文件中

cat ~/.ssh/id_rsa.pub | ssh hadoop02@hadoop02 'cat >> ~/.ssh/authorized_keys'

将主节点中的authorized_keys文件分发到hadoop03节点上

scp -r authorized_keys hadoop03@hadoop03:~/.ssh

6、安装JDK

sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

vi ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412
export PATH=$JAV{A}_{H}OME/bin:$PATH

source ~/.bashrc

然后验证环境变量是否正确：

echo $JAVA_HOME

7、安装配置Zookeeper

https://mirrors.aliyun.com/apache/zookeeper/stable/apache-zookeeper-3.8.4-bin.tar.gz

解压下载的文件并移动到 /usr/local 目录：

sudo tar -zxvf /tmp/apache-zookeeper-3.8.4-bin.tar.gz -C /usr/local/
sudo mv /usr/local/apache-zookeeper-3.8.4-bin /usr/local/zookeeper

创建 ZooKeeper 的数据目录：

sudo mkdir -p /var/lib/zookeeper

进入 ZooKeeper 的目录并创建配置文件：

cd /usr/local/zookeeper
sudo mkdir conf
sudo cp conf/zoo_sample.cfg conf/zoo.cfg

编辑 conf/zoo.cfg：

sudo vi conf/zoo.cfg

在配置文件中添加以下内容（根据你的集群设置调整）：
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=60

server.1=hadoop02:2888:3887
#server.2=hadoop02:2888:3887
server.3=hadoop03:2888:3887
6. 创建 myid 文件
在数据目录下创建 myid 文件，内容为服务器的 ID（1、2、3）：
echo “1” | sudo tee /var/lib/zookeeper/myid # 对于 hadoop02

对于其他节点，内容改为 “2” 或 “3”

现在可以启动 ZooKeeper：

/usr/local/zookeeper/bin/zkServer.sh start /usr/local/zookeeper/conf/zoo.cfg

查询状态和端口的详情

sudo /usr/local/zookeeper/bin/zkServer.sh status
sudo ss -tulnp | grep 2181
ps -p <PID> -f

原文地址：https://blog.csdn.net/qq_46249770/article/details/144028034

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！