rabbitmq+nginx负载服务部署文档

🕗 发布于 2024-07-07 19:23 rabbitmq nginx 分布式

前言

rabbitmq普通集群部署后，存在服务单点承压的情况，故，需要通过前端负载解决单点承压的问题；将采用nginx作为负载器，对流量进行负载分发到各个集群节点，解决服务单点负载的问题

环境

虚拟机4台,如下列表

主机名	主机ip	用途
nginx-lsb	10.0.3.132	负载器
rabbitmq01	10.0.3.133	rabbitmq-node1
rabbitmq02	10.0.3.134	rabbitmq-node2
rabbitmq03	10.0.3.135	rabbitmq-node3

同一个网络中

资源

名称	版本	类型	备注
centos	7.9.2009	操作系统
docker	26.1.4	软件	rpm部署
bitnami/rabbitmq	latest	容器镜像	容器id:80583c0e1b06
nginx	1.27.0	容器镜像	容器id:e0c9858e10ed
pivotalrabbitmq/perf-test	latest	容器镜像	容器id:3804df61f5ba

部署

系统环境准备（四个主机均要执行）

关闭防火墙

  systemctl stop firewalld
  systemctl disable firewalld

关闭selinux

  sed -i 's~SELINUX=enforcing~SELINUX=disabled~' /etc/selinux/config
  setenforce 0

新增一个数据目录(最好和系统盘分离)

  mkdir /data/docker

docker服务准备（四个主机）

  rm -rf /etc/yum.repos.d/*
  curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
  yum -y remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine
  yum install -y yum-utils device-mapper-persistent-data lvm2
  yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
  yum install -y docker-ce docker-ce-cli containerd.io
  mkdir /etc/docker/
  cat >> /etc/docker/daemon.json << EOF
  {
    "data-root": "/data/docker",
    "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn","http://hub-mirror.c.163.com"]
  }
  EOF
  systemctl restart docker 
  systemctl enable docker 
  wget https://github.com/docker/compose/releases/download/v2.28.0/docker-compose-linux-x86_64
  chmod 755 docker-compose-linux-x86_64
  \cp -fp ddocker-compose-linux-x86_64 /usr/bin/docker-compose

镜像准备

  #在负载均衡（10.0.3.132）的虚机上执行
  docker pull nginx:1.27.0
  docker pull pivotalrabbitmq/perf-test
  #在rabbitmq的三个节点上执行
  docker pull bitnami/rabbitmq
  docker pull pivotalrabbitmq/perf-test

服务启动文件准备

nginx负载均衡的服务管理文件

mkdir -p /usr/yunji/nginx_4_lsb/conf.d
cat > /usr/yunji/nginx_4_lsb/docker-compose.yml << EOF
services:
  web:
    image: nginx:1.27.0
    container_name: nginx-web
    ports:
      - "5672:5672"
    volumes:
      - "$PWD/conf.d:/etc/nginx/conf.d"
      - "$PWD/nginx.conf:/etc/nginx/nginx.conf:ro"
    restart: no
EOF
cat > /usr/yunji/nginx_4_lsb/nginx.conf << EOF
user  root;
worker_processes  auto;

error_log  /var/log/nginx/error.log notice;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

#http {
#    include       /etc/nginx/mime.types;
#    default_type  application/octet-stream;
#
#    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
#                      '$status $body_bytes_sent "$http_referer" '
#                      '"$http_user_agent" "$http_x_forwarded_for"';
#
#    access_log  /var/log/nginx/access.log  main;
#
#    sendfile        on;
#    #tcp_nopush     on;
#
#    keepalive_timeout  65;
#
#    #gzip  on;
#
#    include /etc/nginx/conf.d/*.conf;
#}

stream {
    log_format proxy '$remote_addr [$time_local] '
                 '$protocol $status $bytes_sent $bytes_received '
                 '$session_time "$upstream_addr" '
                 '"$upstream_bytes_sent" "$upstream_bytes_received" "$upstream_connect_time"';
    access_log  /var/log/nginx/access.log  proxy;
    open_log_file_cache off;
    upstream rabbitTcp {
        server 10.0.3.133:5672;
        server 10.0.3.134:5672;
        server 10.0.3.135:5672;
    }
    server {
        listen 5672;
        proxy_connect_timeout 5s;
        proxy_timeout 30s;
        proxy_pass rabbitTcp;
    }
    include /etc/nginx/conf.d/*.stream;
}
EOF

rabbitmq的服务管理文件(网络直接使用宿主机的)

节点一(10.0.3.133)

  mkdir -p /usr/yunji/rabbitmq-server
  cat > /usr/yunji/rabbitmq-server/docker-compose.yml << EOF
  # Copyright Broadcom, Inc. All Rights Reserved.
  # SPDX-License-Identifier: APACHE-2.0
  
  version: '2'
  
  services:
    rabbitmq:
      image: docker.io/bitnami/rabbitmq
      container_name: rabbitmq01
  #    ports:
  #      - '4369:4369'
  #      - '5551:5551'
  #      - '5552:5552'
  #      - '5672:5672'
  #      - '25672:25672'
  #      - '15672:15672'
      network_mode: "host"
      environment:
        - RABBITMQ_NODE_TYPE=stats
        - RABBITMQ_NODE_NAME=rabbit@rabbitmq01
        - RABBITMQ_ERL_COOKIE=s3cr3tc00ki3
  #      - RABBITMQ_SECURE_PASSWORD=yes
        - RABBITMQ_LOGS=-
      extra_hosts:
        - "rabbitmq01:10.0.3.133"
        - "rabbitmq02:10.0.3.134"
        - "rabbitmq03:10.0.3.135"
      volumes:
        - 'rabbitmq_data:/bitnami/rabbitmq/mnesia'
  volumes:
    rabbitmq_data:
      driver: local
  EOF

节点二(10.0.3.134)

  mkdir -p /usr/yunji/rabbitmq-server
  cat > /usr/yunji/rabbitmq-server/docker-compose.yml << EOF
  # Copyright Broadcom, Inc. All Rights Reserved.
  # SPDX-License-Identifier: APACHE-2.0
  
  version: '2'
  
  services:
    rabbitmq:
      image: docker.io/bitnami/rabbitmq
      container_name: rabbitmq02
  #    ports:
  #      - '4369:4369'
  #      - '5551:5551'
  #      - '5552:5552'
  #      - '5672:5672'
  #      - '25672:25672'
  #      - '15672:15672'
      network_mode: "host"
      environment:
        - RABBITMQ_NODE_TYPE=queue-disc
        - RABBITMQ_NODE_NAME=rabbit@rabbitmq02
        - RABBITMQ_CLUSTER_NODE_NAME=rabbit@rabbitmq01
        - RABBITMQ_ERL_COOKIE=s3cr3tc00ki3
  #      - RABBITMQ_SECURE_PASSWORD=yes
        - RABBITMQ_LOGS=-
      extra_hosts:
        - "rabbitmq01:10.0.3.133"
        - "rabbitmq02:10.0.3.134"
        - "rabbitmq03:10.0.3.135"
      volumes:
        - 'rabbitmq_data:/bitnami/rabbitmq/mnesia'
  volumes:
    rabbitmq_data:
      driver: local
  EOF

节点三(10.0.3.135)

  mkdir -p /usr/yunji/rabbitmq-server
  cat > /usr/yunji/rabbitmq-server/docker-compose.yml << EOF
  # Copyright Broadcom, Inc. All Rights Reserved.
  # SPDX-License-Identifier: APACHE-2.0
  
  version: '2'
  
  services:
    rabbitmq:
      image: docker.io/bitnami/rabbitmq
      container_name: rabbitmq03
  #    ports:
  #      - '4369:4369'
  #      - '5551:5551'
  #      - '5552:5552'
  #      - '5672:5672'
  #      - '25672:25672'
  #      - '15672:15672'
      network_mode: "host"
      environment:
        - RABBITMQ_NODE_TYPE=queue-ram
        - RABBITMQ_NODE_NAME=rabbit@rabbitmq03
        - RABBITMQ_CLUSTER_NODE_NAME=rabbit@rabbitmq01
        - RABBITMQ_ERL_COOKIE=s3cr3tc00ki3
  #      - RABBITMQ_SECURE_PASSWORD=yes
        - RABBITMQ_LOGS=-
      extra_hosts:
        - "rabbitmq01:10.0.3.133"
        - "rabbitmq02:10.0.3.134"
        - "rabbitmq03:10.0.3.135"
      volumes:
        - 'rabbitmq_data:/bitnami/rabbitmq/mnesia'
  volumes:
    rabbitmq_data:
      driver: local
  EOF

起服务

rabbitmq服务启动

节点一(10.0.3.133)

cd /usr/yunji/rabbitmq-server
docker-compose -f docker-compose.yml up -d --no-deps

节点二(10.0.3.134)

  cd /usr/yunji/rabbitmq-server
  docker-compose -f docker-compose.yml up -d --no-deps

节点三(10.0.3.135)

  cd /usr/yunji/rabbitmq-server
  docker-compose -f docker-compose.yml up -d --no-deps

验证集群是否成功

使用浏览器访问url: http://10.0.3.133:15672，确认节点是否都可以看到；如果是，则确认集群成功。
用户授权参考如下链接内容
RabbitMQ3.13.x之四_RabbitMQ角色说明及创建用户与授权

nginx负载服务启动

  cd /usr/yunji/nginx_4_lsb/
  docker-compose -f docker-compose.yml up -d --no-deps

测试

单点直连rabbitmq的第一个节点压测测试

  docker run -it --rm pivotalrabbitmq/perf-test:latest -h "amqp://admin:admin@10.0.3.133:5672" -x 2 -y 4 -u "perf-test1" -a --id "test1" -s 4000

结果:

访问rabbitmq的管理后台(http://10.0.3.133:15672)，发现一个节点均衡生产和消费数据

单点直连rabbitmq的三个节点压测测试

  docker run -it --rm pivotalrabbitmq/perf-test:latest -H "amqp://admin:admin@10.0.3.133:5672,amqp://admin:admin@10.0.3.134:5672,amqp://admin:admin@10.0.3.135:5672" -x 2 -y 4 -u "perf-test1" -a --id "test1" -s 4000

结果:

访问rabbitmq的管理后台(http://10.0.3.133:15672)，发现三个节点均衡生产和消费数据

单点直连nginx负载的压测测试

  docker run -it --rm pivotalrabbitmq/perf-test:latest -h "amqp://admin:admin@10.0.3.132:5672" -x 2 -y 4 -u "perf-test1" -a --id "test1" -s 4000

结果:
访问rabbitmq的管理后台(http://10.0.3.133:15672)，发现三个节点均衡生产和消费数据

结果

增加nginx负载均衡的能力，实现了流量负载的能力，确实可以解决单节点负载的问题。

问题和思考

rabbitmq节点宕机一个之后，该节点得到的消息是否仍然可以消费？
- 答：否，由于当前的消息仍然是放在接收的节点上，只有其他节点主动获取消息，其他rabbitmq才能让消费端消费数据。
nginx单点部署，是否存在单点故障的问题
- 答：是，由于单点部署，无法保证该负载出现服务异常之后的后端服务对外提供服务的能力，还需要其他例如keepalive等服务补充支持
后端一个rabbitmq的节点宕机，nginx是否可以感知到，并且将后续的消息转向另外的节点？
- 答：需要配置文件里面设置链接超时的内容，然后nginx会依照超时的重试间隔和重试时间进行重连接，这个可能会导致部分业务出现链接异常的问题。所以还需要通过其他配置或者服务补充支持该异常的处理情况。
rabbitmq节点宕机一个之后，该节点得到的消息是否仍然可以消费？
- 答：否，由于当前的消息仍然是放在接收的节点上，只有其他节点主动获取消息，其他rabbitmq才能让消费端消费数据。
nginx单点部署，是否存在单点故障的问题
- 答：是，由于单点部署，无法保证该负载出现服务异常之后的后端服务对外提供服务的能力，还需要其他例如keepalive等服务补充支持
后端一个rabbitmq的节点宕机，nginx是否可以感知到，并且将后续的消息转向另外的节点？
- 需要配置文件里面设置链接超时的内容，然后nginx会依照超时的重试间隔和重试时间进行重连接，这个可能会导致部分业务出现链接异常的问题。所以还需要通过其他配置或者服务补充支持该异常的处理情况。

原文地址：https://blog.csdn.net/yes_is_ok/article/details/140160089

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

Vue ElemetUI table实现双击修改编辑某个内容
Vue ElemetUI table实现双击修改编辑某个内容不刷新界面，跳转到顶格
阅读更多2024-09-25
从零开始，Docker进阶之路（二）：Docker安装
有时候，Docker 的官方下载服务器可能会遇到问题。您可以检查 Docker 的官方状态页面或社区论坛，看看是否有关于服务中断的公告。我重新执行了该命令，发现成功了，因此猜测很大一部分原因是因为网
阅读更多2024-09-25
ES6 -- 2015
ES6学习笔记
阅读更多2024-09-25
网络安全（黑客）自学
网络安全可以基于攻击和防御视角来分类，我们经常听到的 “红队”、“渗透测试” 等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有
阅读更多2024-09-25
汽车售后诊断ECU参数分析
汽车售后诊断ECU参数分析是一个复杂而细致的过程，需要技术人员具备丰富的专业知识和实践经验。通过综合运用直观检查、故障码读取、数据流分析、替换法和电源检查等方法，可以快速准确地定位故障点，并制定相应的
阅读更多2024-09-25
车辆合格证识别接口-汽车管理智能化-python示例
新车合格证识别接口具备强大的适应性，能够满足多种场景下的识别需求：无论是汽车生产厂家需要快速批量处理车辆信息，还是汽车经销商在销售车辆时快速录入信息，亦或是政府部门进行车辆登记管理，都可以通过该接口轻
阅读更多2024-09-25
如何开启MySQL的慢日志查询
MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阈值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_q
阅读更多2024-09-25
docker仓库
四、查看私有 Docker 仓库中的镜像，可以通过多种方式进行操作，包括使用命令行工具和 Web UI。在浏览器中访问 http://192.168.29.210:8080，你将看到私有仓库中的镜像列
阅读更多2024-09-25
LeetCode：2207. 字符串中最多数目的子序列（Java）
遍历，直到遇到p[1]那么就可以和前面的p[0]构成子序列，res直接加上前面的p[0]的数量即可。最后插入一个字符，看是p[0]多还是p[1]多加上即可，放在前面或者后面构成子序列。注意点：if要先
阅读更多2024-09-25
【unity进阶知识1】最详细的单例模式的设计和应用，继承和不继承MonoBehaviour的单例模式，及泛型单例基类的编写
在游戏开发中，单例模式应该是我们最常见也是用的最多的设计模式了，但是你真的了解它吗？本文通过实例分析，我们将阐述如何设计和应用单例模式，以提高代码的可维护性和复用性。无论是初学者还是经验丰富的开发者，
阅读更多2024-09-25

rabbitmq+nginx负载服务部署文档

前言

环境

资源

部署

系统环境准备（四个主机均要执行）

docker服务准备（四个主机）

镜像准备

服务启动文件准备

nginx负载均衡的服务管理文件

rabbitmq的服务管理文件(网络直接使用宿主机的)

节点一(10.0.3.133)

节点二(10.0.3.134)

节点三(10.0.3.135)

起服务

rabbitmq服务启动

节点一(10.0.3.133)

节点二(10.0.3.134)

节点三(10.0.3.135)

验证集群是否成功

nginx负载服务启动

测试

结果

问题和思考

相关文章