使用Haproxy搭建Web群集

共计 8360 个字符，预计需要花费 21 分钟才能阅读完成。

简介

我们知道 Nginx、LVS 都可以做负载均衡，它们都具有各自的特点，今天介绍另一款比较流行的集群调度工具 Haproxy，首先介绍负载均衡常用调度算法，然后介绍 Haproxy 搭建 Web 集群的案例环境，接下来重点介绍 Haproxy 搭建 Web 集群的安装配置和日志配置，最后介绍了 Haproxy 的参数优化

一、案例分析

1、案例概述

Haproxy 是目前比较流行的一种集群调度工具，同类集群调度工具有很多，如 LVS 和 Nginx，相比较而言，LVS 性能最好，但是搭建相对复杂，Nginx 的 upstream 模块支持集群功能，但是对集群节点健康检查功能不强，性能没有 Haproxy 好。Haproxy 官方网站是 http://www.haproxy.org/

本案例介绍使用 Haproxy 及 Nginx 搭建一套 Web 集群

2、案例前置知识点

（1）HTTP 请求

通过 URL 访问网站使用的协议是 HTTP 协议，此类请求一般称为 HTTP 请求。HTTP 请求的方式分为 GET 方式和 POST 方式。当使用浏览器访问某一个 URL，会根据请求 URL 返回状态码，通常正常的状态码为 2 * *、3 * *（如 200、301），如果出现异常会返回 4 * *、5 * *（如 400、500）。

例如，访问 http://www.test.com/a.php?id=123，就是一个 GET 请求，如果访问正常，会从服务器的日志中获取 200 状态码。假如此请求使用 POST 方式，那么传递给 a.php 的 id 参数依旧是 123, 但是浏览器的 URL 将不会显示后面的 id=123 字样，因此表单类或者有用户名、密码等内容提交时建议使用 POST 方式。不管使用什么方式。最终 a.php 获取的值是一样的

（2）负载均衡常用调度算法

LVS、Haproxy、Nginx 最常用的调度算法有三种，如下所述

RR（Round  Robin）。RR 算法是最简单最常用的一种算法，即轮询调度。例如，有三个节点 A、B、C，第一个用户访问会被指派到节点 A，第二个用户访问会被指派到节点 B，第三个用户访问会被指派到节点 C，第四个用户访问继续指派到节点 A，轮询分配访问请求实现负载均衡效果。此算法还有一种加权轮询，即根据每个节点的权重轮询分配访问请求

LC（Least  Connections）。LC 算法即最小连接数算法，根据后端的节点连接数大小动态分配前端请求。例如，有三个节点 A、B、C，各节点的连接数分别为 A：4、B：5、C：6，此时如果有第一个用户连接请求，会被指派到 A 上，连接数变为 A：5、B：5、C：6；第二个用户请求会继续分配给 A 上，连接数变为 A：6、B：5、C：6；再有新的请求会配置给 B，每次将新的请求指派给连接数最小的节点服务器。由于实际情况下 A、B、C 的连接数会动态释放，很难出现一样连接数的情况，因此此算法相比较 RR 算法有很大改进，是目前用到比较多的一种算法

SH（Source  Hashing）。SH 即基于来源访问调度算法，此算法用于一些有 Session 会话记录在服务器端的场景，可以基于来源的 IP、Cookie 等做集群调度。例如，使用基于源 IP 的集群调度算法，有三个节点 A、B、C，第一个用户第一次访问被指派到 A，第二个用户第一次访问被指派到了 B，当第一个用户第二次访问时会被继续指派到 A，第二个用户第二次访问时依旧会被指派到 B，只要负载调度器不重启，第一个用户访问都会被指派到 A，第二个用户访问都会被指派到 B，实现集群的调度。此调度算法好处是实现会话保持，但某些 IP 访问量非常大时会引起负载不均衡，部分节点访问量超大，影响业务使用

（3）常见的 Web 集群调度器

目前常见的 Web 集群调度器分为软件和硬件，软件通常使用开源的 LVS、Haproxy、Nginx，硬件一般使用比较多的 F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等

3、案例环境

本案例使用三台服务器模拟一台 Web 集群

Haproxy 集群拓扑

案例环境

    注意：这里服务器是托管在 IDC 机房中，公网访问使用的是防火墙 NAT 映射的公网 IP，因此服务器端只需配置一个内外 IP 即可。如果没有防火墙映射，建议在服务器配置双网卡双 IP，公网请求访问公网 IP 的网卡，Haproxy 与各个节点间通信使用内外网卡

二、案例实施

1、编译安装 Nginx 服务器

（1）首先搭建 Nginx-1，使用 nginx-1.6.0.tar.gz 安装包进行编译安装

[root@localhost ~]# yum  -y  install  pcre-devel  zlib-devel
[root@localhost ~]# useradd  -M  -s  /sbin/nologin  nginx
[root@localhost ~]# tar  -zxvf  nginx-1.6.0.tar.gz
[root@localhost ~]# cd nginx-1.6.0
[root@localhost nginx-1.6.0]# ./configure  –prefix=/usr/local/nginx  –user=nginx  –group=nginx
[root@localhost nginx-1.6.0]# make  &&  make  install

    安装完成后默认信息如下

默认安装目录：/usr/local/nginx/

默认日志：/usr/local/nginx/logs/

默认监听：80

默认 Web 目录：/usr/local/nginx/html/

[root@localhost nginx-1.6.0]# cd  /usr/local/nginx/html/
[root@localhost html]# echo  “Server  192.168.1.20” >test.html          // 建立测试页面
[root@localhost html]# /usr/local/nginx/sbin/nginx                      // 启动 Nginx
[root@localhost html]# netstat  -utpln  |  grep  nginx
tcp        0      0 0.0.0.0:80          0.0.0.0:*          LISTEN        4262/nginx
     
[root@localhost html]# service  iptables  stop

    为了方便实验，网站没有配置域名，直接使用 IP 地址。在客户端访问 http://192.168.1.20/test.html 测试

测试访问 Nginx-1

（2）搭建 Nginx-2

    编译安装的步骤与 Nginx- 1 相同，不同之处在于建立测试页面

[root@localhost html]# echo “Server  192.168.1.21”  >test.html

测试访问 Nginx-2

2、编译安装 Haproxy

    使用 haproxy-1.4.24.tar.gz 安装包进行编译安装

[root@localhost ~]# yum  -y  install  pcre-devel  bzip2-devel
[root@localhost ~]# tar  -zxvf  haproxy-1.4.24.tar.gz
[root@localhost ~]# cd  haproxy-1.4.24
[root@localhost haproxy-1.4.24]# make  TARGET=linux26                //64 位系统
[root@localhost haproxy-1.4.24]# make  install

3、Haproxy 服务器配置

（1）建立 Haproxy 的配置文件

[root@localhost haproxy-1.4.24]# mkdir  /etc/haproxy
[root@localhost haproxy-1.4.24]# cp examples/haproxy.cf /etc/haproxy/   
// 将 haproxy.cfg 文件复制到配置文件目录

（2）Haproxy 配置项介绍

    Haproxy 配置文件通常分为三个部分，即 global、defaults 和 listen。global 为全局配置、defaults 为默认配置、listen 为应用组件配置

    global 配置项通常有下面配置参数，以示例参数说明如下

global
        log 127.0.0.1  local0      // 配置日志记录，local0 为日志设备，默认存放到系统日志
        log 127.0.0.1  local1 notice          //notice 为日志级别，通常有 24 个级别
        maxconn 4096                            // 最大连接数
        uid 99                                  // 用户 uid
        gid 99                                  // 用户 gid

    defaults 配置项配置默认参数，一般会被应用组件继承，如果在应用组件中没有特别声明，将按照默认配置参数设置

defaults
        log    global                          // 定义日志为 global 配置中的日志定义
        mode    http                            // 模式为 http
        option  httplog                          // 采用 http 日志格式记录日志
        retries 3            // 检查节点服务器失败次数，连续达到三次失败，则认为节点不可用
        maxconn 2000                            // 最大连接数
        contimeout      5000                    // 连接超时时间
        clitimeout      50000                  // 客户端超时时间
        srvtimeout      50000                  // 服务器超时时间

    listen 配置项目一般为配置应用模块参数

listen  appli4-backup 0.0.0.0:10004            // 定义一个 appli4-backup 的应用
        option  httpchk /index.html            // 检查服务器的 index.html 文件
        option  persist                        // 强制将请求发送到已经 down 掉的服务器
        balance roundrobin                      // 负载均衡调度算法使用轮询算法
        server  inst1 192.168.114.56:80 check inter 2000 fall 3          // 定义在线节点
        server  inst2 192.168.114.56:81 check inter 2000 fall 3 backup    // 定义备份节点

（3）根据目前的集群设计，将 haproxy.cfg 配置文件的内容修改如下

global
        log 127.0.0.1  local0
        log 127.0.0.1  local1 notice
        #log loghost    local0 info
        maxconn 4096
        uid 99
        gid 99
        daemon
        #debug
        #quiet

defaults
        log    global
        mode    http
        option  httplog
        option  dontlognull
        retries 3
        maxconn 2000
        contimeout      5000
        clitimeout      50000
        srvtimeout      50000

listen  webcluster 0.0.0.0:80
        option  httpchk GET /index.html
        balance roundrobin
        server  inst1 192.168.1.20:80 check inter 2000 fall 3
        server  inst2 192.168.1.21:80 check inter 2000 fall 3

4、创建自启动脚本

[root@localhost ~]# cp  ~/haproxy-1.4.24/examples/haproxy.init  /etc/init.d/haproxy
[root@localhost ~]# ln  -s  /usr/local/sbin/haproxy  /usr/sbin/haproxy
[root@localhost ~]# chmod  +x  /etc/init.d/haproxy
[root@localhost ~]# /etc/init.d/haproxy  start
Starting haproxy:                                          [OK]

[root@localhost ~]# service  iptables  stop

5、测试 Web 集群

    通过上面的步骤，已经搭建完成 Haproxy 的 Web 集群，接下来需要验证集群是否正常工作。一个集群一般需要具备两个特性，第一个是高性能，第二个是高可用

（1）测试高性能

    在客户端使用浏览器打开 http://192.168.1.10/test.html，浏览器显示信息如图所示

第一次访问的显示信息

再次打开一个新的浏览器页面访问 http://192.168.1.10/test.html，浏览器显示信息如图所示

第二次访问的显示信息

    可以看到集群的负载均衡调度已经生效，已经满足了集群的高性能需求

（2）测试高可用

    现在将 192.168.1.20 的 Nginx 服务停用，在客户端使用浏览器打开 http://192.168.1.10/test.html，浏览器显示信息仍然如第一次访问时的图相同

    从中可以看出，当出现一台节点故障，不会影响集群的使用，这样就满足了集群的高可用性。也可以将 192.168.1.20 的 Nginx 服务恢复，再将 192.168.1.21 的 Nginx 服务停用，测试高可用性

6、Haproxy 的日志

    Haproxy 的日志默认是输出到系统的 syslog 中，查看起来不是非常方便，为了更好地管理 Haproxy 的日志，我们在生产环境中一般单独定义出来，定义的方法如下所述

（1）修改 Haproxy 配置文件中关于日志配置的选项，修改为下面的配置

        log  /dev/log    local0  info
        log  /dev/log    local0  notice

    这两行配置是将原本的 log  127.0.0.1 配置项修改，主要是将 Haproxy 的 info 及 notice 日志分别记录到不同的日志文件中

    然后重启 Haproxy，完成 Haproxy 配置

（2）修改 rsyslog 配置

    为了便于管理，将 Haproxy 下相关的配置独立定义到 haproxy.conf，并放到 /etc/rsyslog.d/ 下，rsyslog 启动时会自动加载此目录下的所有配置文件

[root@localhost ~]# touch /etc/rsyslog.d/haproxy.conf
[root@localhost ~]# vim /etc/rsyslog.d/haproxy.conf

    加入下面的内容：

if ($programname == ‘haproxy’ and $syslogseverity-text == ‘info’) then -/var/log/haproxy/haproxy-info.log
& ~
if ($programname == ‘haproxy’ and $syslogseverity-text == ‘notice’) then -/var/log/haproxy/haproxy-notice.log
& ~

    这部分配置是将 Haproxy 的 info 日志记录到 /var/log/haproxy/haproxy-info.log 下，将 notice 日志记录到 /var/log/haproxy/haproxy-notice.log 下，其中“& ~”表示当日志写入到日志文件后，rsyslog 停止处理这个信息。这里配置的语法是使用 rainerscript 脚本语言写的

    当然也可用用另一种解决方式，修改 /etc/rsyslog.conf 配置文件，在配置文件中加入如下两行：

local0.info                                            /var/log/haproxy-info.log
local0.notice                                          /var/log/haproxy-notice.log

    这样也可以实现上面相同的效果

    然后保持配置文件并重启 rsyslog 服务，完成 rsyslog 配置 

（3）测试日志信息

    在客户端访问 http://192.168.1.10/test.html 后，可以使用 tail  -f  /var/log/haproxy/haproxy-info.log 即时查看 Haproxy 的访问请求日志信息

[root@localhost ~]# tail -f /var/log/haproxy/haproxy-info.log

Sep  9 22:30:05 localhost haproxy[2634]: 192.168.1.30:1165 [09/Sep/2015:22:30:02.202] webcluster webcluster/inst2 0/0/0/1/3255 200 256 – – CD– 0/0/0/0/0 0/0 “GET /test.html HTTP/1.1”

7、Haproxy 的参数优化

    关于 Haproxy 的参数优化，以下列举了几个关键的参数，并对各参数的生产环境的优化建议做了说明

Haproxy+Keepalived 搭建 Weblogic 高可用负载均衡集群 http://www.linuxidc.com/Linux/2013-09/89732.htm

Keepalived+HAProxy 配置高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/56748.htm

CentOS 6.3 下 Haproxy+Keepalived+Apache 配置笔记 http://www.linuxidc.com/Linux/2013-06/85598.htm

Haproxy + KeepAlived 实现 WEB 群集 on CentOS 6 http://www.linuxidc.com/Linux/2012-03/55672.htm

Haproxy+Keepalived 构建高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/55880.htm

使用 HAProxy 配置 HTTP 负载均衡器 http://www.linuxidc.com/Linux/2015-01/112487.htm

HAproxy 的详细介绍 ：请点这里
HAproxy 的下载地址 ：请点这里

本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2016-10/136165.htm