轻量级Keepalived实现Nginx与LVS高可用

260次阅读

共计 5768 个字符，预计需要花费 15 分钟才能阅读完成。

keepalived 路由软件是由 C 语言编写，为 loadbalance Linux 系统提供简单、健壮的高可用性，keepalive 根据 loadbalance 服务器池的健康实现动态检查，自适应维护和管理。另一方面, 高可用性是通过 VRRP 协议。VRRP 是路由器的基本砖故障转移。此外,keepalive 实现一组钩子 VRRP 有限状态机提供低级和高速协议交互。keepalive 框架都可以单独使用或一起提供弹性的基础设施。

VRRP 是一个“选举”协议，它能够动态地将一个虚拟路由器的责任指定至同一个 VRRP 组中的其它路由器上，从而消除了静态路由配置的单点故障，被指向的路由器即为主路由器（MASTER），其余的为备用路由器（BACKUP）。

VRRP 的优势：
冗余：可以使用多个路由器设备作为 LAN 客户端的默认网关，大大降低了默认网关成为单点故障的可能性；
负载共享：允许来自 LAN 客户端的流量由多个路由器设备所共享；
多 VRRP 组：在一个路由器物理接口上可配置多达 255 个 VRRP 组；
多 IP 地址：基于接口别名在同一个物理接口上配置多个 IP 地址，从而支持在同一个物理接口上接入多个子网；
抢占：在 master 故障时允许优先级更高的 backup 成为 master；
通告协议：使用 IANA 所指定的组播地址 224.0.0.18 进行 VRRP 通告；
VRRP 追踪：基于接口状态来改变其 VRRP 优先级来确定最佳的 VRRP 路由器成为 master；

轻量级 Keepalived 实现 Nginx 与 LVS 高可用

上图大概意思就是通过 watchdog 定时器检测 checkers module 和 vrrp module 有没有定时在写入数据，如果监测到一方停止写入，那么将这台服务器从 master 切到 backup
Netlink：网络
ipvs：ipvs 的规则，以及指向的 real-server
checkers: 通过 tcp http ssl 等 protocol 检查各服务器运行的进程
VRRP Stack：vrrp protocol

安装
[root@marvin ~]# yum install keepalived

配置：
[root@marvin keepalived]# man keepalived.conf

配置文件说明
[root@marvin ~]# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
notification_email {
root@localhost #发件人
}

notification_email_from keepalived@localhost #收件人
smtp_server 127.0.0.1 #发件服务器
smtp_connect_timeout 30
router_id LVS_DEVEL
}

vrrp_instance VI_1 {#实例名称
state MASTER #通过 startup 成为 master 其他节点只能是 backup
interface eth0 #通告进行所需接口
virtual_router_id 51 #虚拟路由 id，也是决定 vmac 的指数同一个实例，路由标识相同，一般不大于 255
priority 100 #初始优先级
advert_int 1 #一个 VRRP 实例中各节点之间同步的时间间隔
authentication {
auth_type PASS #明文认证
auth_pass 1111 #随机密码
}
virtual_ipaddress {
192.168.1.199 #vip
}
}

配置 nginx:
master.conf
—————————————-
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost
}
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_nginx {
script “pidof nginx “
interval 1
weight -3
fall 2
rise 1

}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.199
}
track_script {
chk_nginx
}
notify_master “/etc/keepalived/notify.sh master “
notify_backup “/etc/keepalived/notify.sh backup “
notify_fault “/etc/keepalived/notify.sh fault “
}

backup.conf
—————————————-
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost
}
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_nginx {
script “pidof nginx “
interval 1
weight -1
fall 2
rise 1
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.199
}
track_script {
chk_nginx
}
notify_master “/etc/keepalived/notify.sh master “
notify_backup “/etc/keepalived/notify.sh backup “
notify_fault “/etc/keepalived/notify.sh fault “
}

notify.sh:
#!/bin/bash

case “$1” in
master)
/etc/init.d/nginx start
exit 0
;;
backup)
/etc/init.d/nginx stop
exit 0
;;
fault)
/etc/init.d/nginx stop
exit 0
;;
*)
echo ‘Usage: `basename $0` {master|backup|fault}’
exit 1
;;
esac

实验结果操作：主节点 nginx 挂了从节点就升级为主节点之前的主节点 nginx 重新开启，就又回复为主节点，这里不做演示。

配置 lvs：
lvs 段配置文件说明：
virtual_server 192.168.200.100 443 {#vip port
delay_loop 6 #对后端 Real Server 轮询的时间间隔
lb_algo rr #调度方法
lb_kind NAT #lvs 模型
nat_mask 255.255.255.0 #子网掩码
persistence_timeout 50 #连接的持久时长
protocol TCP #协议

real_server 192.168.201.100 443 {
weight 1 #权重
SSL_GET {#检查 real server 时候用的方法可以是 HTTP_GET
url {
path / #检测健康状况时获取的页面（默认页面）
digest ff20ad2481f97b1754ef3e12ecd3a9cc #期望的返回特征码也可以是 status_code 200
}
url {
path /mrtg/
digest 9b3a0c85a887a256d6939da88aabd8cd
}
connect_timeout 3 #连接超时时长
nb_get_retry 3 #连接超时后的重试次数
delay_before_retry 3 #重试间隔
}
}
}

具体配置 lvs 段：
virtual_server 192.168.1.199 80 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 0
protocol TCP

real_server 192.168.1.222 80 {
weight 1
HTTP_GET {
url {
path /demo.php
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.1.223 80 {
weight 1
HTTP_GET {
url {
path /demo.php
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

分别配置两台 real-server:
[root@martin ~]# ip addr add 192.168.1.199/32 label lo:0 brd 192.168.1.199 dev lo
[root@martin ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
[root@martin ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
[root@martin ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@martin ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

实验结果
[root@marvin keepalived]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.199:80 rr
-> 192.168.1.222:80 Route 1 0 0
-> 192.168.1.223:80 Route 1 0 0

[root@sherry keepalived]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.199:80 rr
-> 192.168.1.222:80 Route 1 0 0
-> 192.168.1.223:80 Route 1 0 0

轻量级 Keepalived 实现 Nginx 与 LVS 高可用

Linux 下 HAProxy+Keepalived 双机高可用方案 http://www.linuxidc.com/Linux/2016-02/128566.htm

Haproxy+Keepalived 搭建 Weblogic 高可用负载均衡集群 http://www.linuxidc.com/Linux/2013-09/89732.htm

Keepalived+HAProxy 配置高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/56748.htm

CentOS 6.3 下 Haproxy+Keepalived+Apache 配置笔记 http://www.linuxidc.com/Linux/2013-06/85598.htm

Haproxy + KeepAlived 实现 WEB 群集 on CentOS 6 http://www.linuxidc.com/Linux/2012-03/55672.htm

Haproxy+Keepalived 构建高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/55880.htm

本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2016-06/132166.htm

正文完

星哥玩云-微信公众号