阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

LVS-NAT模型实现负载均衡

216次阅读
没有评论

共计 10121 个字符，预计需要花费 26 分钟才能阅读完成。

前言

前篇文章我们主要讲解了 LVS 的理论知识，包括 LVS 来源、宗旨、三种模型的架构以及 LVS 内核空间的十种算法，今天我们来进行实践的 LVS 中三种模型中的 NAT 模型的架构以及实现方式。(实验环境以 Web 集群作为实验对象)

环境

此处我们 LVS-NAT 模型环境架构为三台 Linux 服务器, 都有以下配置。

环境架构图：

LVS-NAT 模型实现负载均衡

工作原理：

基于 NAT 机制实现。当用户请求到达 director 之后，director 将请求报文的目标地址（即 VIP）改成选定的 realserver 地址，同时将报文的目标端口也改成选定的 realserver 的相应端口，最后将报文请求发送到指定的 realserver。在服务器端得到数据后，realserver 将数据返给 director，而 director 将报文的源地址和源端口改成 VIP 和相应端口，然后把数据发送给用户，完成整个负载调度过程。

特点：

  • 所有的 realserver 和 director 要在同一个网段内
  • RIP 是私有地址，仅用于集群节点之间进行通信
  • director 同时处理请求和应答数据包
  • realserver 的网关要指向 DIP
  • 可以实现端口映射
  • readlserver 可以是任意操作系统
  • director 很可能成为系统性能瓶颈

硬件环境：

使用软件 VMware WorkStation 11，Director 的 DIP 和 RealServer 的 RS1、RS2 的 RIP 为仅主机模式，让其在同一个局域网内，Direcotr 桥接宿主机模式，方便我们后边的测试。

  • 一台 Director：

    • 版本：Red Hat Enterprise Linux Server release 6.4
    • 双网卡：
      • eth1: VIP:172.16.21.110/24(真实生产环境下一定将网关指向运营商的公网 IP)
      • eth2: DIP:192.168.91.70/24(此 IP 必须和后台的 RealSever 在同一个网段内)

  • 两台 RealServer：

    • 版本：Red Hat Enterprise Linux Server release 6.4
    • 单网卡：
      • RealServer1：RIP1:192.168.91.80/24(网关必须指向 Director 的 DIP)
      • RealServer2: RIP2:192.168.91.90/24(网关必须执行 Director 的 DIP)

软件环境：

搭建 LVS 集群只需要在 Director 服务器上安装 ipvsadmin 工具，此处我们使用 RedHat 自带的 rpm 包进行安装

  • 版本：ipvsadm-1.25-10.el6.x86_64.rpm

安装前准备

现在 LVS 已经是 Linux 标准内核的一部分，在 Linux2.4 内核以前，使用 LVS 时必须要重新编译内核以支持 LVS 功能模块，但是从 Linux2.4 内核以后，已经完全内置了 LVS 的各个功能模块，无需给内核打任何补丁，可以直接使用 LVS 提供的各种功能。

注意

  • LVS-NAT 模型的实现方式和 iptables 的 DNAT 相似，所以你懂的，Director 节点不能和 iptables 同时使用，那么会有冲突，这就是我们后面为什么要将 iptables 的规则清空的目的之一。

查看内核版本

[root@Director Packages]# uname -r  # 此处我们环境内核版本为 2.6.32-358.el6.x86_64，所以不需要再打补丁，如果你的内核低于 2.4 那么则需要提前打补丁
2.6.32-358.el6.x86_64

查看内核是否支持 ipvs

[root@Director ~]# modprobe -l | grep ipvs  # 以下有之前所解释的十个内核所支持的算法(如果能有以下搜索到那么你的内核就支持 ipvs)
kernel/net/netfilter/ipvs/ip_vs.ko
kernel/net/netfilter/ipvs/ip_vs_rr.ko
kernel/net/netfilter/ipvs/ip_vs_wrr.ko
kernel/net/netfilter/ipvs/ip_vs_lc.ko
kernel/net/netfilter/ipvs/ip_vs_wlc.ko
kernel/net/netfilter/ipvs/ip_vs_lblc.ko
kernel/net/netfilter/ipvs/ip_vs_lblcr.ko
kernel/net/netfilter/ipvs/ip_vs_dh.ko
kernel/net/netfilter/ipvs/ip_vs_sh.ko
kernel/net/netfilter/ipvs/ip_vs_sed.ko
kernel/net/netfilter/ipvs/ip_vs_nq.ko
kernel/net/netfilter/ipvs/ip_vs_ftp.ko

配置本地 YUM 源

我们使用本地光盘来作为 YUM 源

挂载本地光盘

[root@Director ~]# mount /dev/sr0 /media  # 挂载本地光盘到本地目录
mount: block device /dev/sr0 is write-protected, mounting read-only

配置编辑 YUM 源的配置文件

三台服务器我们都需要配置，因为后面两台 RealServer 我们还需要安装 web 服务来作为集群服务。

[root@Director ~]# vim /etc/yum.repos.d/rhel-source.repo   
[localhost]   # 库名称(可随意)
name=localhost # 名称描述 (自定义)
baseurl=file:///media  # yum 源目录，源地址
enabled=1   # 是否用该 yum 源，0 为禁用，1 为使用
gpgcheck=0 # 检查 GPG-KEY，0 为不检查，1 为检查

到此我们安装前准备就做好了，来下面进行下一步

配置 DirectorServer

安装 ipvsadm 工具

[root@Director Packages]# yum install -y ipvsadm-1.25-10.el6.x86_64.rpm

配置网卡，并设置 IP

配置外网网卡 VIP

[root@Director ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1  # 此处我们不指定 GATEWAY(真实生产一定要指向 SP 给的公网 IP)
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=172.16.21.110
NETMASK=255.255.255.0

配置内网网卡 DIP

[root@Director ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth2  # 此内网网卡可不指定 GATEWAY, 因为和后台 RealServer 在同一个局域网(但也要根据真实环境而定)
DEVICE=eth2
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.91.70
NETMASK=255.255.255.0

重启网卡服务

[root@Director ~]# service network restart
Shutting down interface eth1:                              [OK  ]
Shutting down interface eth2:                              [OK  ]
Shutting down loopback interface:                          [OK  ]
Bringing up loopback interface:                            [OK  ]
Bringing up interface eth1:                                [OK  ]
Bringing up interface eth2:                                [OK  ]

[root@Director ~]# ifconfig  # 查看配置是否生效
eth1      Link encap:Ethernet  HWaddr 00:0C:29:E5:9A:47  
          inet addr:172.16.21.110  Bcast:172.16.21.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fee5:9a47/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:6126 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4370 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:524154 (511.8 KiB)  TX bytes:753784 (736.1 KiB)

eth2      Link encap:Ethernet  HWaddr 00:0C:29:E5:9A:51  
          inet addr:192.168.91.70  Bcast:192.168.91.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fee5:9a51/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:28 errors:0 dropped:0 overruns:0 frame:0
          TX packets:36 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:4146 (4.0 KiB)  TX bytes:2160 (2.1 KiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:822 errors:0 dropped:0 overruns:0 frame:0
          TX packets:822 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:93120 (90.9 KiB)  TX bytes:93120 (90.9 KiB)

打开本机的路由转发功能

[root@Director ~]# cat /proc/sys/net/ipv4/ip_forward   # 查看本地路由功能是否打开(1 开启 0 关闭)
0 
[root@Director ~]# vim /etc/sysctl.conf   # 开启本地路由转发
net.ipv4.ip_forward = 1    将 0 更改为 1 即可
[root@Director ~]# sysctl -p  # 重新加载配置文件
net.ipv4.ip_forward = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296

配置 RealServer 服务器

配置 RealServer1 网卡，并设置 IP

[root@RS1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.91.80
NETMASK=255.255.255.0
GATEWAY=192.168.91.70
NM_CONTROLLED=yes

重启网卡配置

[root@RS1 ~]# service network restart
Shutting down interface eth1:                              [OK]
Shutting down loopback interface:                          [OK]
Bringing up loopback interface:                            [OK]
Bringing up interface eth1:                                [OK]
[root@RS1 ~]# ifconfig  # 查看配置是否生效
eth1      Link encap:Ethernet  HWaddr 00:0C:29:41:4A:CC  
          inet addr:192.168.91.80  Bcast:192.168.91.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe41:4acc/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:5212 errors:0 dropped:0 overruns:0 frame:0
          TX packets:3586 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:435875 (425.6 KiB)  TX bytes:252327 (246.4 KiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:129 errors:0 dropped:0 overruns:0 frame:0
          TX packets:129 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:13806 (13.4 KiB)  TX bytes:13806 (13.4 KiB)

安装 Web 服务

[root@RS1 ~]# yum install -y httpd
[root@RS1 ~]# service httpd start   # 启动 httpd 服务
Starting httpd: httpd: apr_sockaddr_info_get() failed for RS1
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
                                                           [OK]
[root@RS1 ~]# service httpd status   # 查看 httpd 是否启动
httpd (pid  14114) is running...
[root@RS1 ~]# netstat -an | grep :80  # 查看 web 服务 80 端口是否监听
tcp        0      0 :::80                       :::*                        LISTEN    
[root@RS1 ~]# echo "RS1.xuxingzhuang.com" > /var/www/html/index.html  # 给 web 服务提供网页界面  
[root@RS1 ~]# curl http://localhost # 访问本地 web 是否可以正常访问
RS1.xuxingzhuang.com

清空本地防火墙策略

[root@RS1 ~]# iptables -F

配置 RealServer2 网卡，并配置 IP

[root@RS2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.91.90
NETMASK=255.255.255.0
GATEWAY=192.168.91.70
NM_CONTROLLED=yes

重启网卡配置

[root@RS2 ~]# service network restart
Shutting down interface eth1:                              [OK  ]
Shutting down loopback interface:                          [OK  ]
Bringing up loopback interface:                            [OK  ]
Bringing up interface eth1:                                [OK  ]
[root@RS2 ~]# ifconfig  # 查看配置是否生效
eth1      Link encap:Ethernet  HWaddr 00:0C:29:9A:31:FB  
          inet addr:192.168.91.90  Bcast:192.168.91.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe9a:31fb/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:5749 errors:0 dropped:0 overruns:0 frame:0
          TX packets:4646 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:457342 (446.6 KiB)  TX bytes:1052880 (1.0 MiB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:167 errors:0 dropped:0 overruns:0 frame:0
          TX packets:167 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:17790 (17.3 KiB)  TX bytes:17790 (17.3 KiB)

安装 Web 服务

[root@RS2 ~]# yum install -y httpd
[root@RS2 ~]# service httpd start   # 启动 httpd 服务
Starting httpd: httpd: apr_sockaddr_info_get() failed for RS1
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
                                                           [OK]
[root@RS2 ~]# service httpd status  # 查看 httpd 是否启动
httpd (pid  2069) is running...
[root@RS1 ~]# netstat -an | grep :80  # 查看 web 服务 80 端口是否监听
tcp        0      0 :::80                       :::*                        LISTEN    
[root@RS2 ~]# echo "RS2.xuxingzhuang.com" > /var/www/html/index.html  # 给 web 服务提供网页界面  
[root@RS2 ~]# curl http://localhost # 访问本地 web 是否可以正常访问
RS2.xuxingzhuang.com

清空本地防火墙策略

[root@RS2 ~]# iptables -F

配置 Director，并将 RealServer 加入集群服务

ipvsadm 命令的用法

管理集群服务

  • 添加：
    • -A -t|u|f service-address [-s scheduler]
    • -t: TCP 协议的集群
    • -u: UDP 协议的集群
      • service-address: IP:PORT
    • -f: FWM: 防火墙标记
      • service-address: Mark Number
  • 修改：
    • -E
  • 删除：
    • -D -t|u|f service-address

管理集群服务中的 RealServer

  • 添加：
    • -a -t|u|f service-address -r server-address [-g|i|m] [-w weight]
    • -t|u|f service-address：事先定义好的某集群服务
    • -r server-address: 某 RS 的地址，在 NAT 模型中，可使用 IP：PORT 实现端口映射；
    • [-g|i|m]: LVS 类型
    • -g: DR
    • -i: TUN
    • -m: NAT
    • [-w weight]: 定义服务器权重
  • 修改：
    • -e
  • 删除：
    • -d -t|u|f service-address -r server-address

集群服务后续管理

  • 查看
    • -L|l
    • -n: 数字格式显示主机地址和端口
    • –stats：统计数据
    • –rate: 速率
    • –timeout: 显示 tcp、tcpfin 和 udp 的会话超时时长
    • -c: 显示当前的 ipvs 连接状况
      例：ipvsadm -L -n –stats
  • 删除所有集群服务
    • -C：清空 ipvs 规则
      例：ipvsadm -C
  • 保存规则
    • -S
      例：ipvsadm -S > /etc/sysconfig/ipvsadm
  • 载入此前的规则：
    • -R
      例：ipvsadm -R < /etc/sysconfig/ipvsadm

测试 Director 是否可以正常访问 Realserver 的服务

注意问题

  • 访问后台的 RealServer 服务我们此时使用的为 Driector 的 DIP 进行访问的，当我们将 RealServer 加入集群服务后，我们 clent 要实现访问 Driector 的 VIP 来进行访问 RealServer 的服务，务必要明白此问题。
[root@Director ~]# curl http://192.168.91.80  #看来我们 Driector 访问后台 web 服务都正常
RS1.xuxingzhuang.com
[root@Director ~]# curl http://192.168.91.90
RS2.xuxingzhuang.com

将 RealServer 加入 Web 集群服务

我们本次使用 LVS 内核 rr 调度算法来作为实验方式，还不明白 LVS 的内核调度算法的小伙伴，请查看我们上一篇 LVS 集群服务详解  http://www.linuxidc.com/Linux/2016-06/132388.htm

使用 rr 调度算法(轮叫)

[root@Director ~]# ipvsadm -A -t 172.16.21.110:80 -s rr
[root@Director ~]# ipvsadm -a -t 172.16.21.110:80 -r 192.168.91.80 -m -w 2   # 此处的 - w 指定权重是没有意义的，因为我们使用的为 rr 调度算法(轮叫), 不过你也可以指定，后边我们改变算法时就不用重新定义了，省去了时间
[root@Director ~]# ipvsadm -a -t 172.16.21.110:80 -r 192.168.91.90 -m -w 1
[root@Director ~]# ipvsadm -L -n   # 查看集群服务
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.16.21.110:80 rr
  -> 192.168.91.80:80             Masq    2      0          0         
  -> 192.168.91.90:80             Masq    1      0          0
测试 web 集群服务 rr 算法

使用本机进 web 测试，要和 Director 的 VIP 在同一个网段，那么真实环境你就只要将网关指向运营商给的公网地址就可以了。

LVS-NAT 模型实现负载均衡

  • 测试结果为刷新一次，那么就会换成 RS2，明白 rr(轮叫)算法的小伙伴你懂的，这里就不多少了

更改为 wrr 调度算法(加权循环算法)

[root@Director ~]# ipvsadm -E -t 172.16.21.110:80 -s wrr  #那么此处我们使用 - E 选项来修改为调度算法为 wrr，那么前边 - w 选项指定 RealServer 的权重就生效了，那么我们就不用再对 RealServer 重新指定了
[root@Director ~]# ipvsadm -L -n  
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.16.21.110:80 wrr
  -> 192.168.91.80:80             Masq    2      0          0         
  -> 192.168.91.90:80             Masq    1      0          0
测试 web 集群服务 wrr 算法

此处访问那么算法就根据我们指定了 RS1 权重为 2，RS2 的权重为 1，那么最后我们访问的结果为刷新两次访问 RS1，一个访问 RS2。

END

到这里我们就基于 LVS-NAT 模型搭建了一个 web 集群服务，这里我们就测试了两种 LVS 的内核调度算法，对于其他的八种算法配置基本一样，主要是看我们是否可以进行理解，配置都一样，后边我们将讲解 LVS-DR 模型的 LVS 集群服务的实现过程。

本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-06/132387.htm

正文完
星哥玩云-微信公众号
post-qrcode
Apache Hadoop Linux服务器 LVS-NAT LVS-NAT模型 LVS-NAT模型实现负载均衡 Nginx Tomcat 分布式 分布式系统 服务器 集群
发表至： 服务器应用
2022-01-21
 0
星锅
版权声明：本站原创文章，由 星锅 于2022-01-21发表，共计10121字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
kubeadm 搭建 Kubernetes 集群
Docker Swarm集群管理简介
在Ubuntu 14.10上安装ownCloud
Docker的核心概念
LVS三种调度模式的区别
CentOS 7 下 Zabbix 3.2 安装
使用 LXD 容器运行 Ubuntu Core
Tomcat常用参数设置
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
3518545
评论数
4
文章搜索
热门文章
给你的NAS无限可能，安装小晓雅全家桶影音库

给你的NAS无限可能，安装小晓雅全家桶影音库

给你的 NAS 无限可能，安装小晓雅全家桶影音库 家庭存储和娱乐的需求日益增长。无论是高清电影、电视剧，还是音...
vmware下的网卡分配问题

vmware下的网卡分配问题

导读 vmware 虚拟机下 linux centos6.6 只有 lo，没有 eth0 网卡、随机分配 ip...
软件开发之递归操作

软件开发之递归操作

导读 递归是很神奇的，但是在大多数的编程类书藉中对递归讲解的并不好。它们只是给你展示一个递归阶乘的实现，然后警...
ansible用法之ansible-playbook简单使用

ansible用法之ansible-playbook简单使用

ansbile-playbook 是一系统 ansible 命令的集合，其利用 yaml 语言编写，运行过程，...
自建一款开源音乐服务-Navidrome

自建一款开源音乐服务-Navidrome

自建一款开源音乐服务 -Navidrome Navidrome，一个开源的音乐服务器和播放器，提供了一个优雅且...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
人性化的HTTP命令行工具——HTTPie

人性化的HTTP命令行工具——HTTPie

这篇文章主要是为了让各位读者了解 Httpie 这个 HTTP 的命令行客户端，同时也了解一下接口的有关知识 ...
linux怎么访问小米路由的硬盘

linux怎么访问小米路由的硬盘

导读 随便没有执行的客户端，不过还是可以有办法访问得到的。转载自小米官方社区，在自己的电脑上试了试，分享一下，...
Ubuntu之jdk安装

Ubuntu之jdk安装

导读 JDK 是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的 java 应用程序。JDK...
详解：Linux中设置SSH无密码安全登录

详解：Linux中设置SSH无密码安全登录

作为一名运维人员来说，管理 1 - 5 台机器尚有余力，但如果是 10 台、100 台或更多服务器，是不是每次...
解读SQL Server 性能优化指标

解读SQL Server 性能优化指标

导读 Perfmon 是 Windows 系统性能监视程序。用于监视 CPU 使用率、内存使用率、硬盘读写速度...
一言一句话
-「」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中