阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

RabbitMQ集群和高可用配置的技巧

76次阅读
没有评论

共计 3553 个字符,预计需要花费 9 分钟才能阅读完成。

导读 RabbitMQ 是一个开源的 AMQP 实现,服务器端用 Erlang 语言编写,支持多种客户端,如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP 等,支持 AJAX。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。
概述

运行模式大概有 3 种:

单一模式: 非集群模式,单台。

普通模式:RabbitMQ 默认的集群模式。

对于 Queue 来说,消息实体只存在于其中一个节点,A、B 两个节点仅有相同的元数据,即队列结构。当消息进入 A 节点的 Queue 中后,consumer 从 B 节点拉取时,RabbitMQ 会临时在 A、B 间进行消息传输,把 A 中的消息实体取出并经过 B 发送给 consumer。

所以 consumer 应尽量连接每一个节点,从中取消息。即对于同一个逻辑队列,要在多个节点建立物理 Queue。否则无论 consumer 连 A 或 B,出口总在 A,会产生瓶颈。

该模式存在一个问题就是当 A 节点故障后,B 节点无法取到 A 节点中还未消费的消息实体。

如果做了消息持久化,那么得等 A 节点恢复,然后才可被消费;如果没有持久化会丢失消息。

镜像模式:Queue 同时存在多个节点,可通过改模式实现 HA 高可用
该模式解决了上述问题,其实质和普通模式不同之处在于,消息实体会主动在镜像节点间同步,而不是在 consumer 取数据时临时拉取。

该模式带来的副作用也很明显,除了降低系统性能外,如果镜像队列数量过多,加之大量的消息进入,集群内部的网络带宽将会被这种同步通讯大大消耗掉。

下面来通过配置 RabbitMQ 镜像模式来熟悉这 3 种运行模式

1. 环境说明

RabbitMQ 集群安装在 3 个节点上:10.0.0.1、10.0.0.2、10.0.0.3

HAProxy 安装在 10.0.0.4 上,用于对外提供 RabbitMQ 均衡

3 个节点在 /etc/hosts 文件中分别添加如下内容:

10.0.0.1 rabbit1
10.0.0.2 rabbit2
10.0.0.3 rabbit3
2. 安装 erlang、rabbitmq
cd oneinstack/src
wget http://erlang.org/download/otp_src_18.3.tar.gz
tar xzf otp_src_18.3.tar.gz
cd otp_src_18.3
./configure --prefix=/usr/local/erlang --enable-shared-zlib --with-ssl --enable-threads --enable-smp-support --enable-kernel-poll --enable-hipe --without-javac
make && make install

cd ..
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.7/rabbitmq-server-generic-unix-3.5.7.tar.gz
tar xzf rabbitmq-server-generic-unix-3.5.4.tar.gz
mv rabbitmq_server-3.5.4 rabbitmq
sed -i 's@^ERL_DIR=.*@ERL_DIR=/usr/local/erlang/bin/@' /usr/local/rabbitmq/sbin/rabbitmq-defaults
sed -i 's@^LOG_BASE=.*@LOG_BASE=/usr/local/rabbitmq/var/log/rabbitmq@' /usr/local/rabbitmq/sbin/rabbitmq-defaults  #日志目录
mkdir -p /usr/local/rabbitmq/var/{lib,log}/rabbitmq
3. 一般用户(rabbitmq)运行 RabbitMQ
useradd rabbitmq
wget http://pkgs.fedoraproject.org/cgit/rpms/rabbitmq-server.git/plain/rabbitmq-script-wrapper
sed -i 's@cd /var/lib/rabbitmq@cd /usr/local/rabbitmq/var/lib/rabbitmq@g' rabbitmq-script-wrapper  #更改 rabbitmq 数据存储目录
sed -i 's@/usr/lib/rabbitmq/bin/@/usr/local/rabbitmq/sbin/@g' rabbitmq-script-wrapper
chmod +x rabbitmq-script-wrapper
cp rabbitmq-script-wrapper /usr/sbin/rabbitmqctl
cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-server
cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-plugins
chown -R rabbitmq.rabbitmq /usr/local/rabbitmq/var
4. 日志割接
cat >> /etc/logrotate.d/rabbitmq-server << EOF
/usr/local/rabbitmq/var/log/rabbitmq/*.log {
  weekly
  missingok
  rotate 20
  compress
  delaycompress
  notifempty
  sharedscripts
  postrotate
    /sbin/service rabbitmq-server rotate-logs > /dev/null
  endscript
}
EOF
5. 启动脚本

参考:《RabbitMQ 启动脚本》

6. 设置 Erlang Cookie

Erlang Cookie 文件:/home/rabbitmq/.erlang.cookie。这里将 rabbit1 的该文件复制到 rabbit2、rabbit3,并设置 400 权限

chmod 400 /home/rabbitmq/.erlang.cookie
chown rabbitmq.rabbitmq /home/rabbitmq/.erlang.cookie
7. 修改配置文件

密码和集群配置:

cat > /usr/local/rabbitmq/etc/rabbitmq/rabbitmq.config << EOF
[
  {rabbit, [{cluster_nodes, {['rabbit@rabbit1','rabbit@rabbit2', 'rabbit@rabbit3'], disc}},
    {tcp_listeners,[{"0.0.0.0",5672}]},
    {default_vhost,       <<"/">>},
    {default_user,        <<"linuxeye">>},
    {default_pass,        <<"linuxeye@123">>},
    {loopback_users, ["linuxeye"]},
    {default_permissions, [<<".*">>, <<".*">>, <<".*">>]}
  ]}
].
EOF

启用 rabbitmq_management

cat > /usr/local/rabbitmq/etc/rabbitmq/enabled_plugins << EOF
[rabbitmq_management].
EOF
8. 分别启动 3 个节点 rabbitmq

使用 rabbitmqctl cluster_status 命令表示集群搭建成功

[root@rabbit2 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@rabbit2 ...
[{nodes,[{disc,[rabbit@rabbit1,rabbit@rabbit2,rabbit@rabbit3]}]},
{running_nodes,[rabbit@rabbit3,rabbit@rabbit1,rabbit@rabbit2]},
{cluster_name,<<"rabbit@rabbit2">>},
{partitions,[]}]
9. 设置镜像队列策略

在任意一个节点上执行:

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
10. 配置 HAProxy

配置好 HAProxy 后,浏览器访问 http://10.0.0.4:15672, 看到如下证明 rabbitmq 镜像模式搭建成功

RabbitMQ 集群和高可用配置的技巧

阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年,有高配

腾讯云新客低至 82 元 / 年,老客户 99 元 / 年

代金券:在阿里云专用满减优惠券

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2024-07-24发表,共计3553字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中