PostgreSQL 流复制
作者：文若
前言
PostgreSQL 流复制（Streaming Replication）是 9.0 提供的一种新的 WAL 传递方法。使用流复制时，每当 Primary 节点 WAL 产生，就会马上传递到 Standby 节点，流复制提供 异步 和 同步 两种模式，同步模式可以保障数据 0 丢失。
1. 配置环境
1.1 环境介绍
| 主机名 | IP地址 | 角色 | 数据目录 |
|---|---|---|---|
| 172-16-104-7 | 172.16.104.7 | Master | /data/pgsql12/data/ |
| 172-16-104-56 | 172.16.104.56 | Standby | /data/pgsql12/data/ |
PostgreSQL 版本：PostgreSQL 12.2 操作系统：CentOS Linux release 7.8.2003 (Core)
1.2 主库白名单
Master 节点配置 pg_hba.conf 表示接受流复制的用户连接：
host replication all 0/0 md5
上面这条 SQL 语句的含义是允许任意用户从任何网络（0/0）网络上发起到本数据库的流复制连接，使用MD5的密码认证。
1.3 主库参数配置
# 监听
listen_addresses = '*'
# 流复制客户端的最大并发数，设置为 0 表示禁用复制
max_wal_senders = 10
# WAL 日志级别
wal_level = replica
上面的参数需要重启 PostgreSQL 服务后生效。
2. 流复制搭建
使用 pg_basebackup 将主库数据备份恢复到 Standby 节点，搭建 异步/同步 流复制，步骤归纳：
准备环境 PostgreSQL 主节点和备节点。
参数调整 pg_hba.conf、postgresql.conf，创建复制用户。
备份主节点的数据，恢复到备节点。
修改 primary_conninfo 启动备库。
检查是否启动成功。
2.1 备份恢复
在主库执行全量备份：
pg_basebackup -D /data/pgsql12/backup -v -P -X stream -Upostgres -h 127.0.0.1 -p5432 -R
将备份 SCP 到备库节点：
scp -r ./backup/ root@172.16.104.56:/data/backup
关闭 Standby 节点，清空 Standby 节点的数据文件，或者使用 mv 修改目录名：
# 备份数据目录，或者可以直接清空
mv /data/pgsql12/data /data/pgsql12/data_bak
# 将备份文件转移到数据目录
mv /data/pgsql12/backup /data/pgsql12/data
# 修改文件属组
chown -R postgres:postgres /data/pgsql12
2.2 创建复制用户
主库创建专用于流复制的用户：
CREATE ROLE repl REPLICATION LOGIN PASSWORD ‘repl123’;
2.3 参数修改
PostgreSQL 使用 standby.signal 文件表示实例为 Standby 节点。在使用 pg_basebackup 备份添加 -R 参数（write configuration for replication）会在 postgresql.auto.conf 文件中写入 primary_conninfo 参数信息，这里我们需要按照实际情况调整：
primary_conninfo = 'host=172.16.104.7 port=5432 user=repl password=repl123'
2.4 启动并检查
参数配置完成后，启动 Standby 节点即可：
pg_ctl -D /data/pgsql12/data/ -l /data/pgsql12/logs/start.log start
在主节点，可通过下方 SQL 查询流复制的监控信息：
postgres=# \x
Expanded display is on.
postgres=# select * from pg_stat_replication;
-[ RECORD 1 ]----+------------------------------
pid | 27408
usesysid | 24865
usename | repl
application_name | walreceiver
client_addr | 172.16.104.56
client_hostname |
client_port | 40990
backend_start | 2023-09-05 14:11:56.978627+08
backend_xmin |
state | streaming
sent_lsn | 6/4001BB0
write_lsn | 6/4001BB0
flush_lsn | 6/4001BB0
replay_lsn | 6/4001BB0
write_lag |
flush_lag |
replay_lag |
sync_priority | 0
sync_state | async
reply_time | 2023-09-05 15:03:58.408518+08
其中 state = streaming 表示流复制状态正常，如果有异常，可以查看 error log 中的信息，或者启动的时候就 tail -f error_log，实时关注输出的异常信息。
2.5 同步流复制
上面 2.1～2.4 是介绍如何搭建 异步 流复制。
PostgreSQL 异步流复制的缺点是当主库损坏的时候，激活备库可能会丢失一部分数据，这于 MySQL 异步复制相同，主库只管发送增量日志，挂掉后可能有部分日志从库还没有接收到，此时发生切换就会出现数据丢失，同步复制可以解决该类问题。不过需要注意的是，如果配置同步复制 Standby 节点挂掉，会导致 Priamry 节点卡住，所以一般会有多个 Standby 节点，至少保障 WAL 同步到一个 Standby 节点。
同步复制配置多加一个 synchronous_standby_names 参数，有 3 种配置方法：
synchronous_standby_names = ‘s1,s2,s3’
在这个例子中，如果有 s1、s2、s3 三台 Standby 节点在运行，意味着 s1 为同步节点，其他节点均为潜在同步节点，即 WAL 只需传递给 s1 节点就可以提交。
synchronous_standby_names = ‘FIRST 2 (s1, s2, s3)’
在这个例子中，如果有四个后备服务器 s1、s2、s3 和 s4 在运行，两个后备服务器 s1 和 s2 将被选中为同步后备，因为它们出现在后备服务器名称列表的前部。s3 是一个潜在的同步后备，当 s1 或 s2 中的任何一个失效， 它就会取而代之。s4 则是一个异步后备因为它的名字不在列表中。
synchronous_standby_names = ‘ANY 2 (s1, s2, s3)’
在这个例子中，如果有四台后备服务器 s1、s2、s3 以及 s4 正在运行，事务提交将会等待来自至少其中任意两台后备服务器的回复。s4 是一台异步后备，因为它的名字不在该列表中。
现在我们的架构是一个 Primary 节点一个 Standby 节点，现在通过修改参数调整为 同步流复制 修改主库参数：
#其中 walreceiver 为 Standby 节点的名字，由 primary_conninfo 中的 application_name 设置
synchronous_standby_names = ‘walreceiver’
修改该参数不需要重启数据库，使用 reload 重新加载配置即可：
pg_ctl reload -D /data/pgsql12/data/
在 Primary 节点查询流复制的状态信息：
postgres=# select * from pg_stat_replication;
-[ RECORD 1 ]----+------------------------------
pid | 13561
usesysid | 24865
usename | repl
application_name | walreceiver
client_addr | 172.16.104.56
client_hostname |
client_port | 42126
backend_start | 2023-09-06 17:18:48.297466+08
backend_xmin |
state | streaming
sent_lsn | 6/50007D0
write_lsn | 6/50007D0
flush_lsn | 6/50007D0
replay_lsn | 6/50007D0
write_lag |
flush_lag |
replay_lag |
sync_priority | 1
sync_state | sync
reply_time | 2023-09-06 17:45:00.706196+08
2.6 同步复制级别
影响同步复制还需要关注一个参数 synchronous_commit 用来设置事务的同步级别：
postgres=# select * from pg_settings where name = 'synchronous_commit';
-[ RECORD 1 ]---+------------------------------------------------------
name | synchronous_commit
setting | on
unit |
category | Write-Ahead Log / Settings
short_desc | Sets the current transaction's synchronization level.
extra_desc |
context | user
vartype | enum
source | default
min_val |
max_val |
enumvals | {local,remote_write,remote_apply,on,off}
boot_val | on
reset_val | on
sourcefile |
sourceline |
pending_restart | f
local：WAL 日志被本地持久化后（不用管远程）事务 commit 就可以返回。
remote_write：WAL 日志被传到备库的内存中（不必等其被持久化）事务 commit 才返回。
remote_apply：WAL 日志被传到备库并被 apply，事务 commit 才返回。
on：WAL 日志被传到备库并被持久化（不必等其被 apply）事务 commit 才返回。
off：不必等 WAL 日志被本地持久化，也不管是否传到远程，事务 commit 都可以立即返回。
对于同步复制，可选的值有 remote_write、remote_apply、on。
3. 流复制监控
3.1 角色判断
select pg_is_in_recovery();
判断数据库是否为主库 f 表示是主库，t 表示属于备库角色。
3.2 主库查看流复制
查看流复制信息，可以在主库查看 pg_stat_replication 视图，可以查看流复制的状态信息：
sent_lsn：发送 WAL 的位置。
write_lsn：备库已接收到这部分日志，但还没有刷到磁盘中。
flush_lsn：备库已把 WAL 写入到磁盘中。
replay_lsn：备库应用 WAL 的位置。
sync_state：同步模式。
state：流复制状态。
select * from pg_stat_replication;
输出结果：
postgres=# \x
Expanded display is on.
postgres=# select * from pg_stat_replication;
-[ RECORD 1 ]----+------------------------------
pid | 13561
usesysid | 24865
usename | repl
application_name | walreceiver
client_addr | 172.16.104.56
client_hostname |
client_port | 42126
backend_start | 2023-09-06 17:18:48.297466+08
backend_xmin |
state | streaming
sent_lsn | 6/50007D0
write_lsn | 6/50007D0
flush_lsn | 6/50007D0
replay_lsn | 6/50007D0
write_lag |
flush_lag |
replay_lag |
sync_priority | 1
sync_state | sync
reply_time | 2023-09-07 10:06:18.000504+08
3.3 延迟监控
使用下方 SQL 可以查看 Standby 节点落后主库多少字节 WAL 日志：
select pg_wal_lsn_diff(pg_current_wal_lsn(),replay_lsn) from pg_stat_replicat
3.4 备库查询复制信息
在备库也可以通过查询 pg_stat_wal_receiver 视图，获得流复制的监控信息：
pid：WAL 接收进程 ID。
status：流复制状态，只有 streaming 为正常状态。
receive_start_lsn：WAL 接收进程启动时使用的第一个 WAL 日志的位置。
receive_start_tli：WAL 接收进程启动时使用的第一个时间线编号。
received_lsn：已经接收到并且已经被写入磁盘的最后一个 WAL 日志的位置。
received_tli：已经接收到并且已经被写入磁盘的最后一个 WAL 日志的时间线编号。
last_msg_send_time：接收到最后一条 WAL 日志消息后，向主库发回确认消息的发送时间。
last_msg_receipt_time：备库接收到最后一条 WAL 日志消息的接收时间。
slot_name：使用复制槽的名称。
conninfo：连接主库的连接串，密码等安全相关的信息会被隐去。
select * from pg_stat_wal_receiver;
postgres=# \x
Expanded display is on.
postgres=#
postgres=# select * from pg_stat_wal_receiver;
-[ RECORD 1 ]---------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
pid | 113395
status | streaming
receive_start_lsn | 6/5000000
receive_start_tli | 3
received_lsn | 6/50007D0
received_tli | 3
last_msg_send_time | 2023-09-07 10:20:00.207856+08
last_msg_receipt_time | 2023-09-07 10:20:00.20971+08
latest_end_lsn | 6/50007D0
latest_end_time | 2023-09-06 17:19:46.661221+08
slot_name |
sender_host | 172.16.104.7
sender_port | 5432
conninfo | user=repl password=******** dbname=replication host=172.16.104.7 port=5432 fallback_application_name=walreceiver sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any
更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw
原文地址：https://blog.csdn.net/weixin_43756308/article/details/140465382
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！