共计 5602 个字符，预计需要花费 15 分钟才能阅读完成。

前言

在生产工作中，后端服务器并不可能永远都处于正常运行状态，若服务器发生宕机，为了不影响正在进行的业务以及给用户更好的体验，我们可以通过 keepalived 监控后台服务器运行情况，当有服务器发生故障时，会从把该服务器剔除出 LVS 转发策略；等到服务器恢复正常后，keepalived 也会重新把该服务器加入 LVS 转发策略中。

系统介绍

 虚拟 VIP：192.168.1.231​ip 地址：192.168.1.244【mac 地址：00:16:3E:98:07:E8，以下简称 D1】​ip 地址：192.168.1.233【mac 地址：00:16:3E:3B:60:AA，以下简称 D1】​ 系统：centos6

安装部署

安装 keepalived

D1,D2 服务器都要安装 keepalivedcd /data/software/rz 上传文件 keepalived-1.2.13.tar.gz# tar -zvxf keepalived-1.2.13.tar.gz # cd keepalived-1.2.13# ./configure --sysconf=/data/conf/ --prefix=/data/apps/keepalived/ ​\# 如果报错!!! ​OpenSSL is not properly installed on your system. !!! ​ 则执行：​# yum -y install openssl-devel

makemake install​ 安装完成 ln -s /data/apps/keepalived/sbin/keepalived /sbin/keepalivedcp /home/data/conf/rc.d/init.d/keepalived  /etc/rc.d/init.d/cp /home/data/conf/sysconfig/keepalived /etc/sysconfig/mkdir /etc/keepalivedcp /home/data/conf/keepalived/keepalived.conf /data/conf/ln -s /data/conf/keepalived.conf  /etc/keepalived/keepalived.confrm -rf  /data/conf/keepalived /data/conf/rc.d /data/conf/sysconfig          echo "1" >/proc/sys/net/ipv4/ip_forward             # 开启路由功能 

安装 ipvs

D1,D2 服务器都要安装

检查 kernel 是否已经支持 LVS 的 IPVS 模块

modprobe -l | grep ipvs

如果有类似上面的输出则说明内核已经支持

安装 ipvs

yum -y install ipvsadm​ipvsadm --help  (看到参数信息则说明安装成功)

防火墙规则

iptables -F -t mangle       # 清空 mangle 中的规则 ​iptables -t mangle -I PREROUTING -d 192.168.1.231 -p tcp -m tcp --dport 80 -m mac ! --mac-source 00:16:3E:3B:60:AA -j MARK --set-mark 1【192.168.1.244 服务器配置】​iptables -t mangle -I PREROUTING -d 192.168.1.231 -p tcp -m tcp --dport 80 -m mac ! --mac-source 00:16:3E:98:07:E8 -j MARK --set-mark 1【192.168.1.233 服务器配置】​ ​\# 目标 ip 地址是 192.168.1.231 并且目标端口为 80 的数据标记为 1（排除另外一台 lvs 调度器 所以是排除另外一台调度器的 mac 地址 两台 lvs 的 set-mark 值不同 并且规则中都排除对端的 mac 地址）​service iptables save

配置 keepalived

vi /etc/keepalived/keepalived.conf ​ 修改配置信息参考：​192.168.1.244 的配置：​! Configuration File for keepalived​global_defs {    notification_email {        linmaogan@gmail.com # 故障通知邮件地址，可以多个地址         liuxing007xing@163.com    }    notification_email_from linmaogan@163.com # 故障发送人     smtp_server smtp.163.com # 由 163.com 发送邮件     smtp_connect_timeout 30​    #运行 Keepalived 服务器的一个标识     #发邮件时显示在邮件标题中的信息     router_id LVS_BACKUP  #BACKUP 上修改为 LVS_BACKUP，网上资料说这个值也需要修改，具体不详，之前我们线上的主备就一直是一样的 ^ ^ 还是修改一下吧！}​# 监测 ipvsadm 进程状态，每 3 秒执行一次 vrrp_script chk_ipvsadm{    script "/data/conf/shell/chk_ipvsadm.sh"    interval 3    weight 3}​vrrp_instance VI_1 {    state MASTER    interface em1【修改对应的网卡或 eth0】    virtual_router_id 51    priority 100    advert_int 1    authentication {        auth_type PASS        auth_pass PZFKD2wSUJ3swnPN    }    virtual_ipaddress {        192.168.1.231    }}​virtual_server fwmark 80 {    delay_loop 6    lb_algo wlc    lb_kind DR    persistence_timeout 1    nat_mask 255.255.255.0   #网络掩码     persistence_timeout 50     protocol TCP    real_server 192.168.1.244 80 {        weight 5        TCP_CHECK {            connect_timeout 3            nb_get_retry 3            delay_before_retry 3            connect_port 80                #健康检查端口连接端口         }    }    real_server 192.168.1.233 80 {        weight 5        TCP_CHECK {            connect_timeout 3            nb_get_retry 3            delay_before_retry 3            connect_port 80                #健康检查端口连接端口         }    }}

192.168.1.233 的配置：

! Configuration File for keepalived​global_defs {    notification_email {        linmaogan@gmail.com # 故障通知邮件地址，可以多个地址         liuxing007xing@163.com    }    notification_email_from linmaogan@163.com # 故障发送人     smtp_server smtp.163.com # 由 163.com 发送邮件     smtp_connect_timeout 30​    #运行 Keepalived 服务器的一个标识     #发邮件时显示在邮件标题中的信息     router_id LVS_BACKUP  #BACKUP 上修改为 LVS_BACKUP，网上资料说这个值也需要修改，具体不详，之前我们线上的主备就一直是一样的 ^ ^ 还是修改一下吧！}​# 监测 ipvsadm 进程状态，每 3 秒执行一次 vrrp_script chk_ipvsadm{    script "/data/conf/shell/chk_ipvsadm.sh"    interval 3    weight 3}​vrrp_instance VI_1 {    state BACKUP    interface em1【修改对应的网卡或 eth0】    virtual_router_id 51    priority 80    advert_int 1    authentication {        auth_type PASS        auth_pass PZFKD2wSUJ3swnPN    }    virtual_ipaddress {        192.168.1.231    }}​virtual_server fwmark 80 {    delay_loop 6    lb_algo wlc    lb_kind DR    persistence_timeout 1    nat_mask 255.255.255.0   #网络掩码     persistence_timeout 50     protocol TCP    real_server 192.168.1.244 80 {        weight 5        TCP_CHECK {            connect_timeout 3            nb_get_retry 3            delay_before_retry 3            connect_port 80                #健康检查端口连接端口         }    }    real_server 192.168.1.233 80 {        weight 5        TCP_CHECK {            connect_timeout 3            nb_get_retry 3            delay_before_retry 3            connect_port 80                #健康检查端口连接端口         }    }}

D2 上配值和 D1 基本相同只是 state MASTER 改成 state BACKUP,priority 100 改成 priority 80

配置 ipvs

vi /data/conf/shell/chk_ipvsadm.sh​ 插入配置信息 #!/bin/bash# 定时查看 ipvsadm 是否存在，如果不存在则启动 ipvsadm，# 如果启动失败，则停止 keepalivedstatus=$(ps aux|grep ipvsadm | grep -v grep | grep -v bash | wc -l)if ["${status}" = "0" ]; then    service ipvsadm start    status2=$(ps aux|grep ipvsadm | grep -v grep | grep -v bash |wc -l)    if ["${status2}" = "0"  ]; then    /etc/init.d/keepalived stop     fifi

Real_Server 上的配置

在 LVS 的 DR 模式下，用户的访问请求到达 Real Server 后，是直接返回给用户的，不再经过前端的 Director Server, 因此，需要在每个 Real server 节点上增加虚拟的 VIP 地址，这样数据才能直接返回给用户

chmod 777 /etc/rc.d/init.d/functions ​vi /etc/init.d/lvsrs#!/bin/bash#把以下内容保存成:lvsrs#并放置在 /etc/init.d 目录下 # 如果想启动 LVS Server 执行:/etc/init.d/lvsrs start# 如果想停止 LVS Server 执行:/etc/init.d/lvsrs stopVIP=192.168.1.231  #虚拟 IP，视具体情况而变 . /etc/rc.d/init.d/functions   # 如果提示权限不够，那么先在命令行执行: chmod 777 /etc/rc.d/init.d/functions​case "$1" instart)    ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP    /sbin/route add -host $VIP dev lo:0    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce    sysctl -p >/dev/null 2>&1    echo "RealServer Start OK"    ;;stop)    ifconfig lo:0 down    route del $VIP >/dev/null 2>&1    echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore    echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce    echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore    echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce    echo "RealServer Stoped"    ;;    *)    echo "Usage: $0 {start|stop}"    exit 1esacexit 0

chmod 755 /etc/init.d/lvsrs​service lvsrs start

管理 lvs

以下 D1,D2 上都执行

1）启动 lvs 调度器

service keepalived start                            # 开启路由功能 echo "1" >/proc/sys/net/ipv4/ip_forward

2）关闭 lvs 调度器

service keepalived stopecho "0" >/proc/sys/net/ipv4/ip_forward

添加开机启动

chkconfig --add keepalivedchkconfig keepalived on​vi /etc/rc.d/rc.local/etc/init.d/lvsrs start  # 添加这一行到末尾 

ip a 查询