Zookeeper 数据迁移实战：基础环境搭建与高效迁移方案全览
文章目录
一、Zookeeper数据迁移简介
本次Zookeeper数据迁移的方案：
一是先将源集群中的快照、日志拷贝出到目标节点指定目录中，再将快照、日志文件迁移到目标集群节点的指定目录下。再启动目标节点的Zookeeper服务，该方案最好需要停止源集群的写操作，避免数据不一致。
二利用开源工具可以进行同步，如使用zkcopy开源工具进行在线同步，可以使两个Zookeeper或Zookeeper集群之间进行数据同步，但不能对Zookeeper的log日志进行同步。使用zkcopy的特点，是在不停服的情况下，可以进行数据同步，不用担心数据不一致问题，但改工具不能对日志进行拷贝。
二、迁移zookeeper数据基础环境
| 源节点 | Node1:XxX.XXX.XXX.214 | Docker-compose部署 3节点zookeeper伪集群 | Centos7.9 |
|---|---|---|---|
| 目标 节点 | Node2:XxX.XXX.XXX.215 | Docker-compose部署 3节点zookeeper伪集群 | Centos7.9 |
三、利用快照迁移zookeeper数据
1、Node1最新的zk快照文件和日志文件
最好先停掉源集群中的zookeeper的进程，并将zookeeper中的最新的快照和日志拷贝到目标node2上，这样能保证数据的一致性。
#查看数据目录和日志目录路径
cat $HOME/conf/zoo.cfg | grep dataDir
ls -alh $HOME/zookeeper/version-2/
示例：
[root@bogon zk-3]# tree
.
├── conf
│ └── zoo.cfg
├── data
│ ├── myid
│ └── version-2
│ ├── acceptedEpoch
│ ├── currentEpoch
│ └── snapshot.0
└── datalog
└── version-2
└── log.100000001
#将最新的snapshot.0 log.100000001拷贝到目标主机node2某个位置。
Scp -r snapshot.0 log.100000001 root@XxX.XXX.XXX.215:/tmp
2、将被迁移方node2的zookeeper的集群全部stop
将node2的zookeeper的集群全部stop后，清空集群各个节点的数据和日志目录，
#清空数据目录、和日志目录
Rm -rf /data/zookeeper/version-2/*
Rm -rf /dataLog/zookeeper/version-2/*
3、将源node1集群数据和日志拷贝到指定目录下
将拷贝过来的snapshot.0 log.100000001拷贝到某一个zookeeper的节点的目录下即可
#接数据、日志。拷贝相应目录下
Cp -a /tmp/snapshot.0 /data/zookeeper/version-2/
Cp -a /tmp/log.100000001 /dataLog/zookeeper/version-2/
4、验证优先启动拷贝的数据、日志的zookeeper节点，
如果是三节点，先恢复其中一台，然后等数据恢复完成后，再启动其他两个节点。
检查是否将源节点的数据目录是否成功拷贝到新节点上、还可以根据实际生产情况，验证。此处不是生产环节，只作查验操作演示如下：
#登录到zookeeper里后执行
./bin/zkCli.sh
#使用ls 查看
[zk: localhost:2181(CONNECTED) 0] ls /
[p_node1, zookeeper]
#使用get 查看
[zk: localhost:2181(CONNECTED) 1] get /p_node1/seq_0000000001
1
以上为通过对数据、日志的拷贝完成zookeeper数据的迁移，作为常规手段，操作方便,使用简单。
四、利用开源工具zkcopy进行在线同步数据
1、下载官方开源工具
下载官方开源工具，并进行build
git clone https://github.com/kshchepanovskyi/zkcopy.git
进入参zkcopy目录，执行
mvn clean install //没有maven环境先准备环境，官方推荐maven3
2、同步数据方法
docker pull ksprojects/zkcopy
docker run --rm -it ksprojects/zkcopy --source server:port/path --target server:port/path
#官方提供命令
java -jar target/zkcopy.jar --source server:port/path --target server:port/path
示例如下：
java -jar target/zkcopy.jar --source XxX.XXX.XXX.214:2181/p_node1 --target XxX.XXX.XXX.215:2181/p_node1
参考说明：
path为zookeeper的znode节点
如：[zk: localhost:2181(CONNECTED) 0] ls /
[p_node1, p_node2, zookeeper]
原文地址：https://blog.csdn.net/qq_40477248/article/details/145157311
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！