RHCS 集群安装部署图文详解

共计 5967 个字符，预计需要花费 15 分钟才能阅读完成。

一 集群：

1 集群：

是指一组相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点都是运行各自服务的独立服务器，这些服务器之间可以彼此通信，协同向用户提供应用程序，系统资源和数据，并以单一系统的模式加以管理。

2 集群优点：

1 高性能
2 价格有效性
3 可伸缩性
4 高可用
5 透明性
6 可管理
7 可编程

3 RHCS 集群组成

1 集群架构管理器

这是 RHCS 集群的一个基础套件，提供您一个集群的基本功能，使各个节点组成的集群在一起工作，具体包含分布式集群管理器（CMAN），成员关系管理、锁管理（DLM）配置文件管理（CCS）、栅设备（FENCE）

2 高可用服务管理器

提供节点服务监控和服务故障转移，当一个节点服务出现故障时，将服务转移到另一个健康的节点上。

3 集群配置管理工具

通过 LUCI 来管理和配置 RHCS 集群，LUCI 是一个基于 web 的集群配置方式，通过 luci 可以轻松的搭建一个功能强大的集群系统，节点主机可以使用 ricci 来和 luci 管理段进行通信

4 Linuxvirtualserver

LVS 是一个开源的负载均衡软件，利用 LVS 可以将客户端的请求根据指定的负载策略和算法合理分配到各个节点，实现动态、智能的负载分担。

5 RedHatGS（globalfilesystem）

GFS 是 Redhat 公司开发的一款集群文件系统，目前最新的版本是 GFS2，GFS 文件系统允许多个服务同时读写一个磁盘分区，通过 GFS 可以实现数据的集中管理，免去了数据同步和拷贝的麻烦，但 GFS 不能独立存在，需要 RHCS 的底层组件支持

6 clusterlogicalvolumemanger

CLuster 逻辑卷管理，及 CLVM，是 LVM 的扩展，这种允许 cluster 中的机器使用 LVM 来管理共享存储

7 ISCSI

是一种在 Internet 协议上，特别是以太网上进行数据传输的标准，他是一种基于 IPstorage 理论的新型存储技术，RHCS 可以通过 ISCSI 技术来导出和分配共享存储的使用。

4 RHCS 集群运行原理及功能介绍

1 分布式集群管理器（CMAN）

它运行在各个节点上，为 RHCS 提供集群管理任务

CMAN 用于管理集群成员、消息和通知。他通过监控每个节点的运行状态来了解节点成员之间的关系，当节点出现故障时，CMAN 及时将这种改变通知底层，进而做出相应的调整

2 锁管理（DLM）

表示一个分布式锁管理器，他是 RHCS 的一个底层基础构建，同时也为集群提供了一个公用的锁运行机制，在 RHCS 中，DLM 运行在集群的每个节点上，GFS 通过锁管理机制来同步访问数据系统元数据，CLVM 通过锁管理其来同步更新数据到 LVM 卷和逻辑卷，DLM 不需要设定锁骨哪里服务器，它采用对等的锁管理方式，大大提高了处理性能，同时,DLM 避免了当单个节点失败需要整体恢复的性能瓶颈，另外，DLM 的请求都是本地的，不需要网络请求，因而请求会立即生效，最后，DLM 通过分层机制，可以实现多个锁空间的并行管理模式

3 配置文件管理（CCS）

ClusterConfigurationSystem，简称 CCS，主要用于集群配置文件管理和配置文件在节点之间的同步。有时候，luci 管理界面可能由于网络等方面的以素并不是那么畅快，CCS 就显得很必要了。CCS 运行在集群的每个节点上，监控每个集群节点上的单一配置文件 /etc/cluster/cluster.conf 的状态，当这个文件发生任何变化时，

都将此变化更新到集群中的每个节点，时刻保持每个节点的配置文件同步。例如

，管理员在节点 A 上更新了集群配置文件，CCS 发现 A 节点的配置文件发生变化后，

马上将此变化传播到其它节点上去。

rhcs 的配置文件是 cluster.conf，它是一个 xml 文件，具体包含集群名称、

集群节点信息、集群资源和服务信息、fence 设备等

4、栅设备（FENCE）

FENCE 设备是 RHCS 集群中必不可少的一个组成部分，通过 FENCE 设备可以避免因出现不可预知的情况而造成的“脑裂”现象，FENCE 设备的出现，就是为了解决类似这些问题，Fence 设备主要就是通过服务器或存储本身的硬件管理接口，或者外部电源管理设备，来对服务器或存储直接发出硬件管理指令，将服务器重启或关机，或者与网络断开连接。

FENCE 的工作原理是：当意外原因导致主机异常或者宕机时，备机会首先调用 FENCE 设备，然后通过 FENCE 设备将异常主机重启或者从网络隔离，当 FENCE 操作成功执行后，返回信息给备机，备机在接到 FENCE 成功的信息后，开始接管主机的服务和资源。这样通过 FENCE 设备，将异常节点占据的资源进行了释放，保证了资源和服务始终运行在一个节点上。

RHCS 的 FENCE 设备可以分为两种：内部 FENCE 和外部 FENCE，常用的内部 FENCE 有 IBMRSAII 卡，HP 的 iLO 卡，还有 IPMI 的设备等，外部 fence 设备有 UPS、SANSWITCH、NETWORKSWITCH 等

5、高可用服务管理器（rgmanager）

高可用性服务管理主要用来监督、启动和停止集群的应用、服务和资源。

它提供了一种对集群服务的管理能力，当一个节点的服务失败时，

高可用性集群服务管理进程可以将服务从这个失败节点转移到其它健康节点上来，

并且这种服务转移能力是自动、透明的。RHCS 通过 rgmanager 来管理集群服务，rgmanager 运行在每个集群节点上，在服务器上对应的进程为 clurgmgrd。

在一个 RHCS 集群中，高可用性服务包含集群服务和集群资源两个方面，集群服务其实就是应用服务，例如 apache、mysql 等，集群资源有很多种，例如一个 IP 地址、一个运行脚本、ext3/GFS 文件系统等。

在 RHCS 集群中，高可用性服务是和一个失败转移域结合在一起的，所谓失败转移域是一个运行特定服务的集群节点的集合。在失败转移域中，可以给每个节点设置相应的优先级，通过优先级的高低来决定节点失败时服务转移的先后顺序，如果没有给节点指定优先级，那么集群高可用服务将在任意节点间转移。因此，通过创建失败转移域不但可以设定服务在节点间转移的顺序，而且可以限制某个服务仅在失

败转移域指定的节点内进行切换。

6、集群配置管理工具（luci 和 ricci）

Conga 是一种新的基于网络的集群配置工具，Conga 是通过 web 方式来配置和管理集群节点的。Conga 有两部分组成，分别是 luci 和 ricci，luci 安装在一台独立的计算机上，用于配置和管理集群，ricci 安装在每个集群节点上，Luci 通过 ricci 和集群中的每个节点进行通信。

RHCS 也提供了一些功能强大的集群命令行管理工具，常用的有 clustat、cman_tool、ccs_tool、fence_tool、clusvcadm 等，这些命令的用法将在下面讲述。

7、RedhatGFS

GFS 是 RHCS 为集群系统提供的一个存储解决方案，它允许集群多个节点在块级别上共享存储，每个节点通过共享一个存储空间，保证了访问数据的一致性，更切实的说，GFS 是 RHCS 提供的一个集群文件系统，多个节点同时挂载一个文件系统分区，而文件系统数据不受破坏，这是单一的文件系统不能实现的。

为了实现多个节点对于一个文件系统同时读写操作，GFS 使用锁管理器来管理 I / O 操作，当一个写进程操作一个文件时，这个文件就被锁定，此时不允许其它进程进行读写操作直到这个写进程正常完成才释放锁，有当锁被释放后，其它读写进程才能对这个文件进行操作，另外，当一个节点在 GFS 文件系统上修改数据后，这种修改操作会通过 RHCS 底层通信机制立即在其它节点上可见。

在搭建 RHCS 集群时，GFS 一般作为共享存储，运行在每个节点上，并且可以通过 RHCS 管理工具对 GFS 进行配置和管理。这些需要说明的是 RHCS 和 GFS 之间的关系，一般初学者很容易混淆这个概念：运行 RHCS，GFS 不是必须的，只有在需要共享存储时，才需要 GFS 支持，而搭建 GFS 集群文件系统，必须要有 RHCS 的底层支持，所以安装 GFS 文件系统的节点，必须安装 RHCS 组件。

二 实验环境：

两台 NGINX 服务器负责前端调度，集群服务器被搭建在前面两态服务器上

两台 HTTPd 服务器负责提供 web 界面

1 基本环境说明：

2 NGINX 环境准备

1 安装软件

1 下载并解压软件

2 去除修改 gcc 产生的文件，以减少 NGINX 的文件大小

、

3 去除 NGINX 版本号，以防止黑客攻击

4 指定其安装位置及安装的模块

5 编译并安装

6 查看文件大小

7 创建连接文件

8 启动及查看

9 其默认发布目录位置

10 备份主配置文件

2 基本优化

一般优化项：

1 优化 NGINX 运行用户，其默认使用 nobody

创建 nginx 用户和组

修改配置

重启服务

查看其启动情况：

2 优化进程数

默认的 NGINX 多个进程有可能跑在一个 CPU 上，导致 NGINX 进程使用硬件的资源不均，因此需要针对一个 CPU 配置一个进程

3 配置最大链接数

Woker_connections 的值要根据具体服务器性能和程序的内存使用量来指定（一个进程启动使用的是内存根据程序确定），如下 Events 核定 NGINX 的工作模式以及链接数上限。

服务端修改：

配置文件修改

查看

3 配置负载均衡

1 查看后端服务 IP 地址

2 修改配置文件

3 重启服务：

server 1 配置文件复制到 server4 中；

创建软连接，以便于启动服务：

修改配置和 server1 相同：

配置地址解析并测试：

三：集群软件安装

1 集群管理软件 ricci 和 luci 的安装与启动

1 ricci 安装

2 设置管理软件的密码

3 启动节点管理工具

4 设置开机自启动

5 安装配置管理工具 luci

6 启动服务并配置开机自启动

四 集群节点的添加

1 使用 web 界面进行登录，并添加其信任，

其用户名和密码分别是 root 和节点 server1 root 对应的密码，

2 创建集群节点资源

：并添加节点，其名称是对应的 uname -n 对应的主机名，密码是在 ricci 安装完成后设置的密码

集群节点创建中：

集群节点创建完成：

3 查看集群节点状态 clustat

四 向集群中添加 NGINX 服务：

1 创建 NGINX 启动脚本：

2 添加执行权限并进行测试：

3 将其发送到另一个节点上并进行测试：

4 添加 nginx 服务资源

1 添加服务资源名并配置相关优先级：

5 添加虚拟 VIP 地址并配置子网掩码。

6 添加 NGINX 启动脚本：

7 添加组，将其上面的 VIP 和 NGINX 绑定到同一个组中，使用 VIP 来当做 NGINX 监听的 IP 地址，及客户端访问使用的 IP 地址。

添加成功：

8 进行测试：

五 集群重启之后使服务运行步骤

六 fence 安装

1 在真机上安装而不是在调度器或后端 server 上

2 生成密钥：

此处的网络接口必须与 server1 和 server4 在同一个网段的端口，负责不能起到防止脑裂的作用，因为如果不在同一个网段，网络则不通、

3 发送器密钥到集群节点上，使其与监控端的通信使用密文传输。

4 添加 fence 资源：

选择使用组播方式进行数据传输，因为上述在生成密文的时候默认是使用组播的方式传输信息的。

5 添加个服务的子资源

6 通过 UUID 的方式绑定资源，其 UUID 是不可变的，因此使用 UUID 最为合适，

7 测试结果，看其在一个节点突然 down 机后是否能够立即重新启动

7 添加共享磁盘资源运行 mysql 服务：

1 服务端 server2 分配磁盘资源

2 查看资源是否添加成功：

3 服务端安装 scsi 软件，并配置其标识符：

4 客户端安装 iscsi 软件以共享磁盘资源

5 发现服务端资源并查看：

6 磁盘分区，

注意此时的磁盘只需要进行一次分区即可，因为其是同一块磁盘：

7 磁盘格式化

8 挂载

9 查看：

10 卸载：

11 安装 mysql 服务并将其挂载到共享磁盘上：

1 安装 mysql

两边都安装服务单只需要一边启动服务，因为通过启动服务获取的配置文件将被移动到共享资源中，两边的服务的目录都将挂载共享资源，及启动配置文件：

2 将启动文件复制到共享资源 /dev/sda1 中

必须 -rp - r 表示复制目录 -p 表示复制权限。

3 授予目录 mysql 用户和用户组的权限，否则 mysql 用户将不能访问此共享目录

4 启动 mysql 服务并测试，开启看其是否成功，测试完成后需关闭，因为不同节点的 mysql 服务不能同时读取同一个 mysql 配置文件。

5 另一节点挂载并启动服务，而后关闭服务并卸载，因为集群在启动服务时会自动挂载，因此如果此时挂载可能会出现错误：

12 将共享 mysql 磁盘写入到集群中：

1 添加模块

2 添加虚拟 VIP，

可以使用上述的 VIP，也可以分开，建议分开使用。

3 添加挂载文件，

其格式是 ext4 文件系统，因为上述格式化时使用的是 ext4 文件系统

4 添加 mysql 启动脚本。

5 添加组名并设置优先级：优先级高的服务将默认在其上面运行。

添加组，将 VIP、磁盘挂载、脚本启动进行绑定，其顺序不能混杂，因为其顺序是启动的顺序。

6 创建成功并启动成功：

7 mysql 进行启动测试：

8 设置远程链接权限

9 进行远程链接，其 IP 地址是第二次添加的 VIP 地址。

13 测试

1 关闭 server4 端 mysql

此时 server1 端 mysql 服务启动

2 进行远程登录测试

3 查看集群状态

8 配置 LVS 针对 mysql 共享的拉伸

1 创建 LVM

1 关闭原有服务

2 iscsi 共享服务缺点

其不能完成并发的数据库服务访问及两边的读写不同步：

3 关闭原有的服务：

4 挂载共享服务并将 mysql 的配置文件和数据进行备份：

5 移除对磁盘的挂载，采用本地挂载的方式进行磁盘的挂载操作

6 使用 LVM 进行对磁盘的操作，此处的锁类型必须是 3，否则会报错。数据将不能通过锁机制进行通信。

7 此时的文件系统格式是 8e，不能是默认格式，使用 t 进行修改成 8e

8 进行查看其划分的磁盘空间为 4GB

9 必须在 server4 端看到相应的修改，否则不能进行下一步。以下相同。

10 创建逻辑卷：

11 格式化磁盘，其盘名必须有集群的名称。

12 挂载并验证其同步性

2 扩展 LVM

1 创建分区，此时的文件系统类型也应该是 8e

2 另一个节点上必须看到相同变化，否则不能进行下一步。

3 拉伸磁盘容量：

4 设置开机自动挂载：两个节点都要设置：

5 将备份的数据库启动数据放入共享目录中，以便都可以进行读取

6 启动 mysql 数据库并进行查看：

7 远程登录数据库：

8 节点的关闭与启动

9 集群的删除：

1 关闭集群资源

2 分离集群节点

节点上进行查看：

3 关闭集群节点上的自启动服务。

4 删除集群两边的配置文件

5 关闭开机自动挂载：

6 查看是否卸载

7 关闭集群设备