阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

红帽(RedHat Linux)6.1之高可用性(High Availability)配置实例

259次阅读
没有评论

共计 30018 个字符,预计需要花费 76 分钟才能阅读完成。

高可用性(HighAvailability)配置实例

前言

RHEL6 上,每个节点至少要 1GB 的内存,只支持 x86_64 位平台,32 位平台不再支持。配置集群的服务器需要配置时间服务器,以保证集群服务器的时间一致。只有两个节点的集群默认不启用仲裁机制。

一、架构安排

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

准备 3 台 linux 机器,5 个 IP 地址,其中:
机器:
28.6.11.83 是 HP 服务器【物理机】
28.6.11.15 是 IBM x346 型号服务器【物理机】
28.6.11.80 是 VMWARE 虚拟机
公有网络:
28.6.11.81:虚拟 IP 地址,没有与具体的物理机对应,作为集群服务器的 IP 地址资源使用,通过该 IP 和相应的端口访问集群提供的 HTTP 服务。
28.6.11.83:集群服务器节点 1,比集群节点 28.6.11.15 具有更高的优先权。
28.6.11.15:集群服务器节点 2,比集群节点 28.6.11.83 的优先权低。
私有网络:
28.6.11.86:为 28.6.11.83 的 HP iLo Device【Fence Device】设备配置的 IP 地址。
28.6.11.82:为 28.6.11.15 的 IPMI Lan Device【Fence Device】设备配置的 IP 地址。
注:建议 fence 设备地址使用相同的网段,集群的运行需要借助多播方式发送心跳信号,须查看交换机是否支持多播通信。心跳信号量比较大,建议使用私有网络。一般私有网络和公有网络分处不同网段,私有网络必须使用专有的维护链接才可以访问。

二、Fence Device 配置

本节所需安装软件可以在安装光盘的 Packages 目录直接安装,不需要配置 yum 源。

(一)HP iLo Device 配置

 

首先接通 HP 服务器的 iLo 端口和交换机的链路连接,并把相应交换机端口设置为 11 网段,然后重新启动机器,在启动界面进行如下的配置:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

在如上的界面中按【F8】键,进入 iLo 配置界面,按照下面的图示配置 iLo 的 IP 地址:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

按【F10】保存 IP 配置信息。

按照下面的图示,配置 iLo 的认证用户:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

【F10】保存认证用户配置信息。

退出 iLo 配置界面完成 iLo 的配置,让机器重新正常启动,再进行如下的配置信息验证:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

手动测试 iLo 是否可以手动重启机器。

可以访问 iLo 界面并可以手动重启机器说明 iLo 配置成功。

(二)IBM IPMI Lan Device 配置

IPMI 是 Intel 公司推出的远程管理解决方案,也称为 Baseboard Management Cards (BMCs),可以在服务器通电(没有启动操作系统)情况下对服务器进行远程管理。Dell 的 Baseboard Management Controller (BMC) 是 IPMI 的一个实现。该 BMC 可以通过主板集成的第一块网卡实现网络管理。并且这个 BMC 管理 IP 是独立的 IP 地址(需要单独占用)。
有两种方式配置 IPMI,一种是服务器启动时进行设置,可以激活 IPMI 远程访问;另一种方式是安装了 Linux 操作系统,在 Linux 操作系统中使用 ipmitool 来设置(前提是已经加载了一 些 ipmi 内核模块)。本实例中两种方法结合使用进行 IPMI 的设置。前者用于 IP 地址等信息的设置,后者用于用户信息等的设置。
通过 IBM 红皮书网站 http://www.redbooks.ibm.com/redbooks/SG246495/wwhelp/wwhimpl/js/html/wwhelp.htm 查询得知如下:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

Figure2-9 Rear ports of the xSeries 346

IBM x346 型号机器的 BMC 端口和网卡 1 共用。在本实例中本机器的 28.6.11.15 IP 使用的是 2 号网卡,因此接通该服务器的网卡 1 和交换机的链路连接,并把相应交换机端口设置为 11 网段。打开本机 console,重启机器进行下面的配置。

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

按【F1】进入【Setup】界面,如下:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

选择【AdvancedSetup】,进入如下界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

选择【BaseboardManagement Controller(BMC)Settings】进入如下界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

确保如上设置,并选择【BMCNetwork Configuration】进入如下界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

确保如上设置,并选择【SaveNetwork Settings in BMC】进行保存,如下:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

点击【Enter】按钮进行保存。按【Escape】键退到如下的界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

保存退出后,重新启动机器。可以在机器 28.6.11.83 上进行是否可以 ping 通 28.6.11.82 的测试:
[root@linux1183 ~]# ping 28.6.11.82

进入操作系统后,在 28.6.11.15 上安装如下的软件包:
freeipmi-bmc-watchdog-0.7.16-3.el6.x86_64
ipmitool-1.8.11-7.el6.x86_64
freeipmi-0.7.16-3.el6.x86_64
freeipmi-ipmidetectd-0.7.16-3.el6.x86_64
同时在 28.6.11.83 上安装如下的软件包,以方便后面的异机测试:
ipmitool-1.8.11-7.el6.x86_64

为加强 BMC 安全,禁止非授权用户重启服务器。需要修改默认的 SNMP 通讯串,null 用 户密码,以及管理员用户密码。如下:
修改默认的 SNMP 通讯串:
/usr/bin/ipmitool -I open lan set 1 snmp COMUNIATION
设置 null 用户的密码
/usr/bin/ipmitool -I open lan set 1 password PASSWD
设置管理员用户密码前,先查看管理员用户名

[root@linux1115 ~]# ipmitool user list 1

ID  Name            Callin  Link Auth IPMI Msg  Channel Priv Limit

1                     true   false      true      NO ACCESS

2  USERID          true    true      true      ADMINISTRATOR

确保【Link Auth】和【IPMI Msg】为 true,如果是 false,使用如下命令进行修改:【ipmitool user enable id 号】。从上面的命令输出得知,具有管理员权限的用户的 ID 是 2,用户名是 USERID(该用户名可以修改),为该用户设置密码为 PASSWD:
/usr/bin/ipmitool -I open user set password 2 PASSWD
使用如下的命令查看 IPMI 的设置信息【该命令在本机上执行】:

[root@linux1115 ~]# ipmitool -I open lan print 1

Set in Progress        : SetComplete

Auth Type Support      : NONEMD2 MD5 PASSWORD

Auth Type Enable        :Callback :

                        :User    : MD2 MD5 PASSWORD

                        :Operator : MD2 MD5 PASSWORD

                        :Admin    : MD2 MD5 PASSWORD

                        :OEM      :

IP Address Source      :Static Address

IP Address              : 28.6.11.82

Subnet Mask            :255.255.255.0

MAC Address            :00:14:5e:2b:bc:48

SNMP Community String  :COMUNIATION

IP Header               : TTL=0x40 Flags=0x40 Precedence=0x00TOS=0x10

Default Gateway IP      : 28.6.11.254

Default Gateway MAC    :00:00:00:00:00:00

Backup Gateway IP      :0.0.0.0

Backup Gateway MAC      :00:00:00:00:00:00

CipherSuite Priv Max  : Not Available

使用如下命令检查整个 IPMI 设置是否正确,如下:

[root@linux1183 ~]# ipmitool -I lan -U USERID -H 28.6.11.82 -achassis power status

Password:

ChassisPower is on

再使用如下命令看是否可以重启机器:

ipmitool -I lan -U USERID -H 28.6.11.82 -achassis power cycle

是否可以在 28.6.11.83 上对 28.6.11.15 进行重启:

[root@linux1183 ~]#ipmitool -I lan -U USERID-H 28.6.11.82 -a chassis power cycle

如果可以重启,说明配置正确无误。

三、iscsi 配置

 

���器准备好后,并关掉这台机器的防火墙,在每台机器的 /etc/hosts 文件中加入如下内容:

28.6.11.83 linux1183.domain.com linux1183

28.6.11.15 linux1115.domain.com linux1115

28.6.11.80linux1180.domain.com linux1180

本节所需安装软件可以在安装光盘的 Packages 目录直接安装,不需要配置 yum 源。

注:建议把集群中的机器设置为同一个 Domain。

(一)iscsi 服务端配置

 

1、在 28.6.11.80 上,另外再增加一块 8G 的磁盘 sdb,用 fdisk 划分为一个分区 /dev/sdb1,准备用作 iscsi 共享存储,用于存放 apache 页面。另外再增加一块大小不少于 100M 的硬盘 /dev/sdc,通过 iscsi 共享给 linux1183 和 linux1115 访问,做集群的 qdisk 使用。

[root@linux1180 ~]# fdisk -l

 

Disk /dev/sda: 10.7 GB, 10737418240 bytes

255 heads, 63 sectors/track, 1305 cylinders

Units = cylinders of 16065 * 512 = 8225280bytes

Sector size (logical/physical): 512 bytes /512 bytes

I/O size (minimum/optimal): 512 bytes / 512bytes

Disk identifier: 0x000673ff

 

  Device Boot      Start        End      Blocks  Id  System

/dev/sda1  *          1          64      512000  83  Linux

Partition 1 does not end on cylinderboundary.

/dev/sda2              64        1306    9972736  8e  Linux LVM

 

Disk /dev/sdc: 209 MB, 209715200 bytes

64 heads, 32 sectors/track, 200 cylinders

Units = cylinders of 2048 * 512 = 1048576bytes

Sector size (logical/physical): 512 bytes /512 bytes

I/O size (minimum/optimal): 512 bytes / 512bytes

Disk identifier: 0x00000000

 

Disk /dev/sdc doesn’t contain a validpartition table

 

Disk /dev/sdb: 8589 MB, 8589934592 bytes

255 heads, 63 sectors/track, 1044 cylinders

Units = cylinders of 16065 * 512 = 8225280bytes

Sector size (logical/physical): 512 bytes /512 bytes

I/O size (minimum/optimal): 512 bytes / 512bytes

Disk identifier: 0x29abae1b

 

  Device Boot      Start        End      Blocks  Id  System

/dev/sdb1              1        1044    8385898+  83  Linux

2、安装 scsi-target-utils 软件提供 iscsi 服务

[root@linux1180 ~]# yum installscsi-target-utils

3、修改 /etc/tgt/targets.conf,添加:

<targetiqn.2011-06.com.domain:server.target1>

       backing-store /dev/sdb1

       backing-store /dev/sdc

</target>

4、重启 tgtd 服务,并将其设为开机启动:

[root@linux1180~]# /etc/init.d/tgtd restart

[root@linux1180~]# chkconfig tgtd on

[root@linux1180~]# chkconfig tgtd –list

tgtd            0:off  1:off  2:on    3:on    4:on   5:on    6:off

4、查看服务状态,可以看到已经提供了一个 7G 的 ISCSI LUN 1 卷

[root@linux1180~]# tgt-admin –show

Target 1:iqn.2011-06.com.domain:server.target1

    System information:

        Driver: iscsi

        State: ready

    LUN information:

        LUN: 0

            Type: controller

            SCSI ID: IET    00010000

            SCSI SN: beaf10

            Size: 0 MB, Block size: 1

            Online: Yes

            Removable media: No

            Readonly: No

            Backing store type: null

            Backing store path: None

            Backing store flags:

        LUN: 1

            Type: disk

        SCSI ID:IET    00010001

            SCSI SN:beaf11

            Size: 8587MB, Block size: 512

            Online: Yes

            Removablemedia: No

            Readonly:No

            Backingstore type: rdwr

           Backing store path: /dev/sdb1

            Backingstore flags:

        LUN: 2

            Type: disk

            SCSI ID:IET    00010002

            SCSI SN:beaf12

            Size: 210MB, Block size: 512

            Online: Yes

            Removablemedia: No

            Readonly:No

            Backingstore type: rdwr

            Backingstore path: /dev/sdc

            Backingstore flags:

    Account information:

    ACL information:

        ALL

6、打开防火墙端口 3260 或者关闭防火墙

(二)iscsi 客户端配置

 

1、在 28.6.11.83 安装 iscsi 客户端软件 iscsi-initiator-utils 

[root@linux1183 ~]# yum install iscsi-initiator-utils

2、发现服务器 28.6.11.80 的 iscsi 共享卷

[root@linux1183~]# iscsiadm -m discovery -t sendtargets -p linux1180

28.6.11.80:3260,1iqn.2011-06.com.domain:server.target1

linux1180 为主机名,使用 IP 地址也可

 

2、登录 iscsi 存储

[root@linux1183~]# iscsiadm -m node -T iqn.2011-06.com.domain:server.target1 -p 28.6.11.80:3260-l

Logging in to[iface: default, target: iqn.2011-06.com.domain:server.target1, portal: 28.6.11.80,3260]

Loginto [iface: default, target: iqn.2011-06.com.domain:server.target1, portal: 28.6.11.80,3260]successful.

使用 iscsiadm -m node -T target 名称 -p targetIP 地址:端口号 –login 命令

卸载 ISCSI 存储命令:

iscsiadm-m node -T iqn.2011-06.com.domain:server.target1 -p 28.6.11.80:3260 -u

4、查看本地存储,可以发现 /dev/sdb

[root@linux1183~]# fdisk -l

 

Disk/dev/cciss/c0d0: 220.1 GB, 220122071040 bytes

255 heads, 32sectors/track, 52687 cylinders

Units =cylinders of 8160 * 512 = 4177920 bytes

Sector size(logical/physical): 512 bytes / 512 bytes

I/O size(minimum/optimal): 512 bytes / 512 bytes

Diskidentifier: 0x517b413f

 

          Device Boot      Start        End      Blocks  Id  System

/dev/cciss/c0d0p1  *          1        126      512000  83  Linux

Partition 1does not end on cylinder boundary.

/dev/cciss/c0d0p2            126        5266   20971520  83  Linux

/dev/cciss/c0d0p3            5266        7836   10485760  82  Linux swap / Solaris

 

Disk /dev/sdb: 8587 MB, 8587160064 bytes

64 heads, 32 sectors/track, 8189 cylinders

Units = cylinders of 2048 * 512 = 1048576 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0x00000000

 

Disk /dev/sdb doesn’t contain a valid partition table

 

Disk /dev/sdc: 209 MB, 209715200 bytes

7 heads, 58 sectors/track, 1008 cylinders

Units = cylinders of 406 * 512 = 207872 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0x00000000

 

Disk /dev/sdc doesn’t contain a valid partition table

【在 28.6.11.15 上执行同上的操作命令】

注:在上面的第四步查看本地存储时,看到的有可能不是 /dev/sdb,有可能是 /dev/sda 或者 /dev/sdc。出现这种现象是因为 HP 服务器和 IBM 服务器的硬盘编号方法不同所致,并不影响操作和使用。

四、集群软件安装配置

分为集群节点和配置管理器(Luci,RHCS 的 web 管理工具,仅仅只是配置工具,集群可脱离它正常运行)。
本节所需安装软件可以在安装光盘的 Packages 目录直接安装,不需要配置 yum 源。

 

(一)集群节点

 

1、安装集群软件包

[root@linux1183 ~]# yum install ricci openais cmanrgmanager lvm2-cluster gfs2-utils

2、打开防火墙相应端口

端口 协议 程序 
5404,5405 UDP corosync/cman 
11111 TCP ricci 
21064 TCP dlm 
16851 TCP modclusterd 

3、或者直接禁用防火墙

[root@linux1183~]# /etc/init.d/iptablesstop

[root@linux1183~]#chkconfig iptables off   

4、关闭节点上的 ACPI 服务

 

[root@linux1183~]# /etc/init.d/acpid stop

[root@linux1183~]# chkconfig apcid off

5、禁用 NetworkManager 

 

[root@linux1183~]# /etc/init.d/NetworkManager stop

[root@linux1183~]# chkconfig NetworkManager off

 

6、给软件用户 ricci 设置密码

 

[root@linux1183 ~]# passwd ricci

7、启动 ricci 服务

[root@linux1183~]# /etc/init.d/ricci start

[root@linux1183~]# chkconfig ricci on

【在 28.6.11.15 上执行同上的操作命令】

(二)集群配置管理器(luci)

 

可以安装在节点上,现在安装在存储服务器上,更利于监控集群状态。

1、在 28.6.11.80 上安装管理软件

[root@linux1180 ~]# yum install luci

2、打开软件相应端口

端口 协议 程序 
8084 TCP luci 

3、或者直接禁用防火墙 

[root@linux1180~]# service iptables stop

[root@linux1180~]# chkconfig iptables off

4、启动 luci

[root@linux1180~]# /etc/init.d/luci start

Addingfollowing auto-detected host IDs (IP addresses/domain names), corresponding to`linux1180.domain.com’ address, to the configuration of self-managedcertificate `/var/lib/luci/etc/cacert.config’ (you can change them by editing`/var/lib/luci/etc/cacert.config’, removing the generated certificate`/var/lib/luci/certs/host.pem’ and restarting luci):

(none suitablefound, you can still do it manually as mentioned above)

Generating a2048 bit RSA private key

writing newprivate key to ‘/var/lib/luci/certs/host.pem’

正在启劢 saslauthd:[确定]

Start luci… [确定]

Point your webbrowser to https://linux1180.domain.com:8084 (or equivalent) to access luci

[root@linux1180~]# chkconfig luci on

【集群配置测试中,经过多次的删除和修改后,luci 配置界面可能出现不稳定表现,这时可以考虑重新安装 luci】

 

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2016-11/137573p2.htm 

五、集群配置

1、登录管理服务器的 luci 界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

2、输入用户名 root 和密码,登录 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

3、转到 managecluster 界面 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

4、点击 Create, 创建集群 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

【上图中输入的是 ricci 用户密码】

5、集群创建成功

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

6、转到 FenceDevices 创建 fence 设备

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

7、点击【Add】创建 28.6.11.83 的 HP iLo Fence 设备

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

8、点击【Add】创建 28.6.11.15 的 IPMI Lan Fence 设备

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

9、创建完成如下:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

10、回到 nodes 菜单下,点击linux1183.domain.com, 出现节点详情后点击 add fence method 添加一个 method 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

11、点击【add fence instance】,添加刚才设定的 HP iLo Fence 设备

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

12、使用同样的方法为 28.6.11.15 添加 IPMI Lan Fence 设备:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

六、配置 Qdisk

 

Qdisk(仲裁盘)是一块裸设备,可以用来解决集群节点间的脑裂现象(集群节点之间无法通信,互相认为对方死亡),该设备可以分区也可以不分区。Qdisk 创建后将被分为 16 块,对应集群可以支持的最大 16 个节点数,每个块里分别记录了对应节点的时间戳和状态等信息。

1、创建 Qdisk

/dev/sdc 为 linux1180 上共享出来的一块硬盘,在节点服务器 linux1115 上执行如下:

[root@linux1115 ~]# mkqdisk -c /dev/sdc -l QDISK

2、在 luci 界面下进行如下配置

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

点击“Apply”保存。

其中,Heuristics(试探)是集群里的一个小程序,每隔 2 秒(internal)执行一次 ping -c1 -t1 28.6.11.254(这里的 IP 地址一般是个稳定的网关)的命令,每成功一次得 2 分(score),如果执行 10 次(TKO)后,得分依然小于 2 分(Minimumtotal score),该集群节点便自动自我隔离,自我重启。

七、为共享卷创建 GFS 文件系统

 

1、创建 LVM 卷【这个操作在 28.6.11.83 上操作便可】

[root@linux1183 ~]#pvcreate /dev/sdb

Physical volume “/dev/sdb” successfully created

 

[root@linux1183 ~]#vgcreate vg1 /dev/sdb

Clustered volume group “vg1” successfully created

 

[root@linux1183 ~]#lvcreate -L 10G -n lv1 vg1

Logical volume “lv1” created

2、在两台节点上手劢重启 /etc/clvmd 服务

[root@linux1183~]#/etc/init.d/clvmd restart

[root@linux1115 ~]#/etc/init.d/clvmd restart

3、用 fdisk 查看磁盘,在两边主机上都可以看到新建的 lvm 卷 

[root@linux1183 ~]#fdisk -l

………

Disk /dev/sdb doesn’t containa valid partition table

 

Disk /dev/mapper/vg1-lv1:7516 MB, 7516192768 bytes

255 heads, 63 sectors/track,913 cylinders

Units = cylinders of 16065 *512 = 8225280 bytes

Sector size(logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal):512 bytes / 512 bytes

Disk identifier: 0x00000000

 

Disk /dev/mapper/vg1-lv1 doesn’t contain a validpartition table

[root@linux1115 ~]#fdisk -l

………

Disk /dev/sdb doesn’t containa valid partition table

 

Disk /dev/mapper/vg1-lv1:7516 MB, 7516192768 bytes

255 heads, 63 sectors/track,913 cylinders

Units = cylinders of 16065 *512 = 8225280 bytes

Sector size(logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal):512 bytes / 512 bytes

Disk identifier: 0x00000000

 

Disk /dev/mapper/vg1-lv1 doesn’t contain a validpartition table

4、在将 lvm 卷 lv1 格式化成 GFS2 文件系统 

[root@linux1183 ~]#mkfs.gfs2 -p lock_dlm -t mycluster:data1 -j 4/dev/vg1/lv1
-p指定 lock 参数,-t指定 集群名:文件系统名 –j指定可以连接的节点数 

5、节点上挂载 GFS2 文件系统 

[root@linux1183 ~]#mkdir /mnt/data1

[root@linux1183 ~]#mount /dev/vg1/lv1/mnt/data1/

 

[root@linux1115 ~]#mkdir /mnt/data1

[root@linux1115 ~]#mount /dev/vg1/lv1 /mnt/data1/ 

6、测试 GFS2 文件系统是否正常运行,在 Linux1183 和 linux1115 上分别新建文件,在双方查看是否相同

7、让 GFS2 文件系统开机自动挂载

在 linux1183 和 Linux1115 的 /etc/fstab 文件中,分别加入如下:

/dev/mapper/vg1-lv1/mnt/data1 gfs2 defaults 0 0 

8、重启节点验证是否可以自动挂载成功

八、建立 WEB 高可用服务

(一)配置 WEB 服务器

 

两个节点上建立 web 服务器,实际使用中网站根目录均应使用 /mnt/data1/ 下的相同目录,测试中为了更好的验证,分别使用 /mnt/data1/www1 和 /mnt/data1/www2。

1、修改两个节点上的 /etc/httpd/conf/httpd.conf 

[root@linux1183 ~]# vim/etc/httpd/conf/httpd.conf

DocumentRoot”/var/www/html” 改为

DocumentRoot “/mnt/data1/www1” 

[root@linux1183 ~]# vim/etc/httpd/conf/httpd.conf

DocumentRoot”/var/www/html” 改为

DocumentRoot “/mnt/data1/www2” 

2、新建目录及网页文件 index.html 

[root@linux1183 ~]#mkdir/mnt/data1/www1 /mnt/data1/www2

[root@linux1183 ~]# vim/mnt/data1/www1/index.html

this is 28.6.11.83

[root@linux1183 ~]# vim/mnt/data1/www2/index.html

this is 28.6.11.15 

3、启动两台机器上的 http 服务 

[root@linux1183 ~]#/etc/init.d/httpd start
[root@linux1115 ~]#/etc/init.d/httpd start

4、测试 http 服务是否正常

访问 28.6.11.83 得到如下界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

访问 28.6.11.15 得到如下界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

(二)创建集群服务组

 

1、创建 IP 地址资源(28.6.11.81 为虚拟 IP,是集群服务的访问入口)

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

2、创建脚本资源(集群调用该脚本启动 WEB 服务)

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

3、新建故障切换域

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

【Priority 值越小,优先级越高】

4、新建服务组

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

5、添加 IP 资源

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

6、添加脚本资源

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

注:IP 地址和脚本可以设置为两个独立的资源,也可以设置为父子从属型(Add a child resource)。在创建的服务启动时,独立资源分别加载,无论谁加载失败都互不影响,父子关系情况下,父资源加载失败时,子资源不会被加载。

添加完成后注意保存。

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

7、查看服务启动情况

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

如果配置准确,可以看到服务已经运行在 linux1183。打开 IE 访问虚拟 IP 28.6.11.81 可以得到如下的界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

九、高可用性验证

(一)手动切换测试

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

按照上图的操作,手工把服务切换到 linux1115 上运行,得到如下【需要刷新就】:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

打开 IE 访问虚拟 IP 28.6.11.81 可以得到如下的界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

【当 Fence 配置错误时,手动切换也可以成功】

(二)自动切换测试

 

当 Fence 配置错误时,无法进行自动切换。

使用命令检查 Fence 信息配置是否正常,方法如下:

打开 linux1183 或者 linux1115 的 /etc/cluster/cluster.conf 文件【集群配置成功后,所有节点拥有相同的 cluster.conf 配置文件】,得到如下的内容:

<fencedevices>

                <fencedeviceagent=”fence_ilo” ipaddr=”28.6.11.86″login=”Administrator” name=”96171_ilo” passwd=”password”/>

                <fencedeviceagent=”fence_ipmilan” auth=”password” ipaddr=”28.6.11.82″login=”USERID” name=”1115_IPMI”passwd=”PASSWD”/>

</fencedevices>

使用上面的信息,用命令行异机测试的方法获取机器的状态,以验证配置的准确性。如下:

在 linux1183 上获取 linux1115 的机器状态信息:

[root@linux1183 ~]# ipmitool -I lan -UUSERID -H 28.6.11.82 -a chassis power status -P PASSWD

Password:【不用输入密码直接回车就可以】

ChassisPower is on

重启命令:ipmitool -I lan -U USERID-H 28.6.11.82 -a chassis power cycle

在 linux1115 上获取 linux1183 的机器状态:

[root@linux1115 ~]# fence_ilo -o status -a 28.6.11.86-l Administrator -p password

Status:ON

重启命令:fence_ilo -o reboot -a 28.6.11.86-l Administrator -p password

如果上面的两项测试都可以正常获得机器状态信息,可以进行如下的 AB 测试:

A、接上节,现在服务运行在 linux1115 上,手动关闭 linux1115 后,服务应该自动切换到 linux1183 上运行。因为在故障切换域的设置中 linux1183 的优先级高于 linux1115 的优先级,所以当 linux1115 恢复启动后,服务依然会在 linux1183 上运行。

B、当 linux1115 恢复启动后,手动关闭 linux1183,服务应该自动切换到 linux1115 上运行,当 linux1183 恢复启动后,服务会再次切换到 linux1183 上运行 (如果优先级(1-100) 设置相同,当 linux1183 恢复后服务不会切换到 linux1183 上运行)

如上的 AB 测试成功后,下面再进行 Fence 设备的自动重启测试:

C、假设服务目前运行在 linux1183 上面,在 linux1183 的 console 界面上运行命令:

[root@linux1183 ~]# service network stop

此时,服务自动切换到 linux1115 上运行,而后,linux1183 将自动重启,启动成功后服务再次切换到 linux1183 上运行。

D、假设服务目前运行在 linux1115 上面,在 linux1115 的 console 界面上运行命令:

[root@linux1115 ~]# service network stop

此时,服务自动切换到 linux1183 上运行,而后,linux1115 将自动重启,启动成功后服务依然保持在 linux1183 上运行。

 

上面的测试通过后,说明集群可以正常使用。

附录

(一)有关集群的概念

 

1、集群:集群是一组协同工作的服务实体,用来提供比单一服务实体更具扩展性以及可用性的服务平台。

2、集群的可扩展性:可以动态的加入新的服务节点来提高集群的综合性能,而不需要停掉集群提供的服务。

3、集群的高可用性:集群实体通过内部服务节点的冗余方式来避免客户端访问时出现 out of service 的状况。也就是说,集群中同一服务可以由多个服务节点提供,当部分节点失效后,其他服务可以接管服务。

4、集群的实体地址:是客户端访问集群实体获取服务的唯一入口。

5、负载均衡:指集群中的分发设备将用户的请求比较均衡的分发给集群实体中各个服务节点的计算、存储、以及网络资源。

6、负载均衡器:负责提供负载均衡的设备。其一般具备如下功能:

1)维护集群地址

2)负责管理各个服务节点的加入和退出

3)集群地址向内部服务节点地址的转换

7、错误恢复:指集群中的某个或者某些服务节点不能正常工作或者提供服务时,其他服务节点可以资源透明的完成原有任务。

8、HA 集群:高可用性集群,通过特殊的软件将独立的 node 连接起来,组成一个能够提供故障切换的集群。它保证了在多种故障中,关键性服务的可用性、可靠性、以及数据的完整性。主要应用与文件服务,WEB 服务,数据库服务等关键应用中。

9、LB 集群:负载均衡集群,在 LB 服务器上使用专门的路由算法,将数据包分散到多个真实服务器上进行处理,从而达到网络服务的负载均衡的作用。主要运用于公共 WEB 服务,FTP 服务,数据库服务等高负载的服务中。

10、集群技术的优势:低成本,高可用,高扩展,高资源利用率。

(二)HA 高可用集群

 

1、HA 集群的三种方式:对称,主从,多机。

1)对称方式:包括 2 台服务器以及至少 1 个服务,2 台服务器都运行服务,哪台先起则在哪台上启动服务,当一台失效时,服务迁移至另外一台上,当失效机恢复正常时,服务不会迁回至该机。

2)主从方式:包括 2 台服务器以及至少 1 个服务,其中权重较高的服务器运行服务,另外一台作为备份服务器,并且监视 Master 的状态,当 Master 发生故障时,服务会切换至 Slave 服务器;当 Master 恢复正常,服务迁回至 Master。

3)多机方式:2 台以上服务器以及至少 1 个服务的对称方式或者主从方式。

2、HA 的基本组成

1)Service:是 HA 集群中提供的特定资源。

2)Node:HA 集群中实际运行服务提供特定资源的服务器。

3)FailoverDomain:HA 集群中所有提供特定资源的成员服务器的集合。

4)Hearbeat:通过网络数据包来监视服务器状态的方法。

5)ShareStorage:共享存储来储存 HA 集群所需的数据。

6)单一故障点:HA 集群中可能出现故障的单个设备。

7)仲裁:判断服务器及其服务是否运行正常

8)服务失效转移:当 node 出现硬件或者服务失效时,应将相应的服务迁移至失效域中的其他节点

9)Watchdog:定时向各节点发送信息,来确定节点或者节点上的服务的运行状态

10)可编程的电源控制器:由外部控制的电源控制器,连接各节点,当某台节点死锁时,可以通过其他成员服务器或者设备强行关闭该节点的电源。

(三)集群日志

 

如果需要查看日志信息,可以在 luci 的界面上打开日志开关,以降低调试难度,如下:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

打开或者关闭要关注的日志类型:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

然后在 console 上执行 tailf /var/log/messages,可以看到持续的日志滚动输出,如下:

[root@linux1183 ~]# tailf /var/log/messages

Nov 7 19:44:31 linux1183 rgmanager[2428]: Service service:httpd is stopped

Nov 7 19:44:36 linux1183 rgmanager[2428]: Service service:httpd is nowrunning on member 2

Nov 7 20:14:33 linux1183 modcluster: Updating cluster.conf

Nov 7 20:14:33 linux1183 corosync[1720]:  [QUORUM] Members[2]: 1 2

Nov 7 20:14:33 linux1183 modcluster: Updating cluster version

Nov 7 20:14:34 linux1183 rgmanager[2428]: Reconfiguring

Nov 7 20:14:34 linux1183 rgmanager[2428]: Loading Service Data

Nov 7 20:14:37 linux1183 rgmanager[2428]: Stopping changed resources.

Nov 7 20:14:37 linux1183 rgmanager[2428]: Restarting changed resources.

Nov  7 20:14:37 linux1183 rgmanager[2428]:Starting changed resources.

(四)有关集群命令

 

1、Clustat 查看集群状态

[root@linux1183 ~]# clustat

Cluster Status for mycluster @ Mon Nov  7 20:49:42 2011

Member Status: Quorate

 

 Member Name                          ID  Status

 —— —-                          —- ——

 linux1183.domain.com                    1 Online, Local, rgmanager

 linux1115.domain.com                    2 Online, rgmanager

 

 Service Name                Owner (Last)                State

 ——- —-                —– ——                —–

 service:httpd               linux1115.domain.com        started

配置 Qdisk 后的输出:

[root@linux1183 ~]# clustat

Cluster Status for mycluster @ Fri Nov 1802:11:03 2011

Member Status: Quorate

 

 Member Name                            ID  Status

 —— —-                            —- ——

 linux1183.domain.com                      1 Online, Local,rgmanager

 linux1115.domain.com                      2 Online, rgmanager

 /dev/block/8:16                            0 Online, QuorumDisk

 

 Service Name                  Owner (Last)                  State

 ——- —-                  —– ——                  —–

 service:httpd                  linux1115.domain.com          started

2、fence 命令

fence_ack_manual        fence_egenera          fence_rsa

fence_apc              fence_eps              fence_rsb

fence_apc_snmp          fence_ibmblade          fence_sanbox2

fence_bladecenter      fence_ifmib            fence_scsi

fence_bladecenter_snmp  fence_ilo              fence_tool

fence_brocade          fence_ilo_mp            fence_virsh

fence_cisco_mds        fence_intelmodular      fence_virt

fence_cisco_ucs        fence_ipmilan          fence_vmware

fenced                  fence_node              fence_vmware_helper

fence_drac              fence_nss_wrapper      fence_wti

fence_drac5            fence_rhevm            fence_xvm

3、集群启停顺序和命令

停止顺序:

现在 luci 界面上停止服务

service rgmanager stop

service gfs2 stop【自动 umount gfs2 文件系统】

service clvmd stop

service cman stop

如果要重启 linux1180 上的 tgtd 服务,还需要在每个节点客户端上执行:

iscsiadm -m node -Tiqn.2011-06.com.domain:server.target1 -p 28.6.11.80:3260 -u

 

启动顺序:

service cman start

service clvmd start

service gfs2 start

servicergmanager start

4、命令行切换

[root@linux1115 ~]# clustat

Cluster Status for mycluster @ Tue Nov  8 09:00:55 2011

Member Status: Quorate

 

 Member Name                          ID  Status

 —— —-                          —- ——

 linux1183.domain.com                    1 Online, rgmanager

 linux1115.domain.com                    2 Online, Local, rgmanager

 

 ServiceName                Owner (Last)                State

 ——- —-                —– ——                —–

 service:httpd                linux1115.domain.com        started

[root@linux1115 ~]# clusvcadm -r httpd  -m linux1183

‘linux1183’ not in membership list

Closest match: ‘linux1183.domain.com’

Trying to relocate service:httpd to linux1183.domain.com…Success

service:httpd is now running on linux1183.domain.com

[root@linux1115 ~]# clustat

Cluster Status for mycluster @ Tue Nov  8 09:02:22 2011

Member Status: Quorate

 

 Member Name                          ID  Status

 —— —-                          —- ——

 linux1183.domain.com                    1 Online, rgmanager

 linux1115.domain.com                    2 Online, Local, rgmanager

 

 Service Name                Owner (Last)                State

 ——- —-                —– ——                —–

 service:httpd                linux1183.domain.com        started

本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-11/137573.htm

高可用性(HighAvailability)配置实例

前言

RHEL6 上,每个节点至少要 1GB 的内存,只支持 x86_64 位平台,32 位平台不再支持。配置集群的服务器需要配置时间服务器,以保证集群服务器的时间一致。只有两个节点的集群默认不启用仲裁机制。

一、架构安排

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

准备 3 台 linux 机器,5 个 IP 地址,其中:
机器:
28.6.11.83 是 HP 服务器【物理机】
28.6.11.15 是 IBM x346 型号服务器【物理机】
28.6.11.80 是 VMWARE 虚拟机
公有网络:
28.6.11.81:虚拟 IP 地址,没有与具体的物理机对应,作为集群服务器的 IP 地址资源使用,通过该 IP 和相应的端口访问集群提供的 HTTP 服务。
28.6.11.83:集群服务器节点 1,比集群节点 28.6.11.15 具有更高的优先权。
28.6.11.15:集群服务器节点 2,比集群节点 28.6.11.83 的优先权低。
私有网络:
28.6.11.86:为 28.6.11.83 的 HP iLo Device【Fence Device】设备配置的 IP 地址。
28.6.11.82:为 28.6.11.15 的 IPMI Lan Device【Fence Device】设备配置的 IP 地址。
注:建议 fence 设备地址使用相同的网段,集群的运行需要借助多播方式发送心跳信号,须查看交换机是否支持多播通信。心跳信号量比较大,建议使用私有网络。一般私有网络和公有网络分处不同网段,私有网络必须使用专有的维护链接才可以访问。

二、Fence Device 配置

本节所需安装软件可以在安装光盘的 Packages 目录直接安装,不需要配置 yum 源。

(一)HP iLo Device 配置

 

首先接通 HP 服务器的 iLo 端口和交换机的链路连接,并把相应交换机端口设置为 11 网段,然后重新启动机器,在启动界面进行如下的配置:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

在如上的界面中按【F8】键,进入 iLo 配置界面,按照下面的图示配置 iLo 的 IP 地址:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

按【F10】保存 IP 配置信息。

按照下面的图示,配置 iLo 的认证用户:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

【F10】保存认证用户配置信息。

退出 iLo 配置界面完成 iLo 的配置,让机器重新正常启动,再进行如下的配置信息验证:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

手动测试 iLo 是否可以手动重启机器。

可以访问 iLo 界面并可以手动重启机器说明 iLo 配置成功。

(二)IBM IPMI Lan Device 配置

IPMI 是 Intel 公司推出的远程管理解决方案,也称为 Baseboard Management Cards (BMCs),可以在服务器通电(没有启动操作系统)情况下对服务器进行远程管理。Dell 的 Baseboard Management Controller (BMC) 是 IPMI 的一个实现。该 BMC 可以通过主板集成的第一块网卡实现网络管理。并且这个 BMC 管理 IP 是独立的 IP 地址(需要单独占用)。
有两种方式配置 IPMI,一种是服务器启动时进行设置,可以激活 IPMI 远程访问;另一种方式是安装了 Linux 操作系统,在 Linux 操作系统中使用 ipmitool 来设置(前提是已经加载了一 些 ipmi 内核模块)。本实例中两种方法结合使用进行 IPMI 的设置。前者用于 IP 地址等信息的设置,后者用于用户信息等的设置。
通过 IBM 红皮书网站 http://www.redbooks.ibm.com/redbooks/SG246495/wwhelp/wwhimpl/js/html/wwhelp.htm 查询得知如下:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

Figure2-9 Rear ports of the xSeries 346

IBM x346 型号机器的 BMC 端口和网卡 1 共用。在本实例中本机器的 28.6.11.15 IP 使用的是 2 号网卡,因此接通该服务器的网卡 1 和交换机的链路连接,并把相应交换机端口设置为 11 网段。打开本机 console,重启机器进行下面的配置。

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

按【F1】进入【Setup】界面,如下:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

选择【AdvancedSetup】,进入如下界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

选择【BaseboardManagement Controller(BMC)Settings】进入如下界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

确保如上设置,并选择【BMCNetwork Configuration】进入如下界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

确保如上设置,并选择【SaveNetwork Settings in BMC】进行保存,如下:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

点击【Enter】按钮进行保存。按【Escape】键退到如下的界面:

红帽(RedHat Linux)6.1 之高可用性(High Availability)配置实例

 

保存退出后,重新启动机器。可以在机器 28.6.11.83 上进行是否可以 ping 通 28.6.11.82 的测试:
[root@linux1183 ~]# ping 28.6.11.82

进入操作系统后,在 28.6.11.15 上安装如下的软件包:
freeipmi-bmc-watchdog-0.7.16-3.el6.x86_64
ipmitool-1.8.11-7.el6.x86_64
freeipmi-0.7.16-3.el6.x86_64
freeipmi-ipmidetectd-0.7.16-3.el6.x86_64
同时在 28.6.11.83 上安装如下的软件包,以方便后面的异机测试:
ipmitool-1.8.11-7.el6.x86_64

为加强 BMC 安全,禁止非授权用户重启服务器。需要修改默认的 SNMP 通讯串,null 用 户密码,以及管理员用户密码。如下:
修改默认的 SNMP 通讯串:
/usr/bin/ipmitool -I open lan set 1 snmp COMUNIATION
设置 null 用户的密码
/usr/bin/ipmitool -I open lan set 1 password PASSWD
设置管理员用户密码前,先查看管理员用户名

[root@linux1115 ~]# ipmitool user list 1

ID  Name            Callin  Link Auth IPMI Msg  Channel Priv Limit

1                     true   false      true      NO ACCESS

2  USERID          true    true      true      ADMINISTRATOR

确保【Link Auth】和【IPMI Msg】为 true,如果是 false,使用如下命令进行修改:【ipmitool user enable id 号】。从上面的命令输出得知,具有管理员权限的用户的 ID 是 2,用户名是 USERID(该用户名可以修改),为该用户设置密码为 PASSWD:
/usr/bin/ipmitool -I open user set password 2 PASSWD
使用如下的命令查看 IPMI 的设置信息【该命令在本机上执行】:

[root@linux1115 ~]# ipmitool -I open lan print 1

Set in Progress        : SetComplete

Auth Type Support      : NONEMD2 MD5 PASSWORD

Auth Type Enable        :Callback :

                        :User    : MD2 MD5 PASSWORD

                        :Operator : MD2 MD5 PASSWORD

                        :Admin    : MD2 MD5 PASSWORD

                        :OEM      :

IP Address Source      :Static Address

IP Address              : 28.6.11.82

Subnet Mask            :255.255.255.0

MAC Address            :00:14:5e:2b:bc:48

SNMP Community String  :COMUNIATION

IP Header               : TTL=0x40 Flags=0x40 Precedence=0x00TOS=0x10

Default Gateway IP      : 28.6.11.254

Default Gateway MAC    :00:00:00:00:00:00

Backup Gateway IP      :0.0.0.0

Backup Gateway MAC      :00:00:00:00:00:00

CipherSuite Priv Max  : Not Available

使用如下命令检查整个 IPMI 设置是否正确,如下:

[root@linux1183 ~]# ipmitool -I lan -U USERID -H 28.6.11.82 -achassis power status

Password:

ChassisPower is on

再使用如下命令看是否可以重启机器:

ipmitool -I lan -U USERID -H 28.6.11.82 -achassis power cycle

是否可以在 28.6.11.83 上对 28.6.11.15 进行重启:

[root@linux1183 ~]#ipmitool -I lan -U USERID-H 28.6.11.82 -a chassis power cycle

如果可以重启,说明配置正确无误。

三、iscsi 配置

 

���器准备好后,并关掉这台机器的防火墙,在每台机器的 /etc/hosts 文件中加入如下内容:

28.6.11.83 linux1183.domain.com linux1183

28.6.11.15 linux1115.domain.com linux1115

28.6.11.80linux1180.domain.com linux1180

本节所需安装软件可以在安装光盘的 Packages 目录直接安装,不需要配置 yum 源。

注:建议把集群中的机器设置为同一个 Domain。

(一)iscsi 服务端配置

 

1、在 28.6.11.80 上,另外再增加一块 8G 的磁盘 sdb,用 fdisk 划分为一个分区 /dev/sdb1,准备用作 iscsi 共享存储,用于存放 apache 页面。另外再增加一块大小不少于 100M 的硬盘 /dev/sdc,通过 iscsi 共享给 linux1183 和 linux1115 访问,做集群的 qdisk 使用。

[root@linux1180 ~]# fdisk -l

 

Disk /dev/sda: 10.7 GB, 10737418240 bytes

255 heads, 63 sectors/track, 1305 cylinders

Units = cylinders of 16065 * 512 = 8225280bytes

Sector size (logical/physical): 512 bytes /512 bytes

I/O size (minimum/optimal): 512 bytes / 512bytes

Disk identifier: 0x000673ff

 

  Device Boot      Start        End      Blocks  Id  System

/dev/sda1  *          1          64      512000  83  Linux

Partition 1 does not end on cylinderboundary.

/dev/sda2              64        1306    9972736  8e  Linux LVM

 

Disk /dev/sdc: 209 MB, 209715200 bytes

64 heads, 32 sectors/track, 200 cylinders

Units = cylinders of 2048 * 512 = 1048576bytes

Sector size (logical/physical): 512 bytes /512 bytes

I/O size (minimum/optimal): 512 bytes / 512bytes

Disk identifier: 0x00000000

 

Disk /dev/sdc doesn’t contain a validpartition table

 

Disk /dev/sdb: 8589 MB, 8589934592 bytes

255 heads, 63 sectors/track, 1044 cylinders

Units = cylinders of 16065 * 512 = 8225280bytes

Sector size (logical/physical): 512 bytes /512 bytes

I/O size (minimum/optimal): 512 bytes / 512bytes

Disk identifier: 0x29abae1b

 

  Device Boot      Start        End      Blocks  Id  System

/dev/sdb1              1        1044    8385898+  83  Linux

2、安装 scsi-target-utils 软件提供 iscsi 服务

[root@linux1180 ~]# yum installscsi-target-utils

3、修改 /etc/tgt/targets.conf,添加:

<targetiqn.2011-06.com.domain:server.target1>

       backing-store /dev/sdb1

       backing-store /dev/sdc

</target>

4、重启 tgtd 服务,并将其设为开机启动:

[root@linux1180~]# /etc/init.d/tgtd restart

[root@linux1180~]# chkconfig tgtd on

[root@linux1180~]# chkconfig tgtd –list

tgtd            0:off  1:off  2:on    3:on    4:on   5:on    6:off

4、查看服务状态,可以看到已经提供了一个 7G 的 ISCSI LUN 1 卷

[root@linux1180~]# tgt-admin –show

Target 1:iqn.2011-06.com.domain:server.target1

    System information:

        Driver: iscsi

        State: ready

    LUN information:

        LUN: 0

            Type: controller

            SCSI ID: IET    00010000

            SCSI SN: beaf10

            Size: 0 MB, Block size: 1

            Online: Yes

            Removable media: No

            Readonly: No

            Backing store type: null

            Backing store path: None

            Backing store flags:

        LUN: 1

            Type: disk

        SCSI ID:IET    00010001

            SCSI SN:beaf11

            Size: 8587MB, Block size: 512

            Online: Yes

            Removablemedia: No

            Readonly:No

            Backingstore type: rdwr

           Backing store path: /dev/sdb1

            Backingstore flags:

        LUN: 2

            Type: disk

            SCSI ID:IET    00010002

            SCSI SN:beaf12

            Size: 210MB, Block size: 512

            Online: Yes

            Removablemedia: No

            Readonly:No

            Backingstore type: rdwr

            Backingstore path: /dev/sdc

            Backingstore flags:

    Account information:

    ACL information:

        ALL

6、打开防火墙端口 3260 或者关闭防火墙

(二)iscsi 客户端配置

 

1、在 28.6.11.83 安装 iscsi 客户端软件 iscsi-initiator-utils 

[root@linux1183 ~]# yum install iscsi-initiator-utils

2、发现服务器 28.6.11.80 的 iscsi 共享卷

[root@linux1183~]# iscsiadm -m discovery -t sendtargets -p linux1180

28.6.11.80:3260,1iqn.2011-06.com.domain:server.target1

linux1180 为主机名,使用 IP 地址也可

 

2、登录 iscsi 存储

[root@linux1183~]# iscsiadm -m node -T iqn.2011-06.com.domain:server.target1 -p 28.6.11.80:3260-l

Logging in to[iface: default, target: iqn.2011-06.com.domain:server.target1, portal: 28.6.11.80,3260]

Loginto [iface: default, target: iqn.2011-06.com.domain:server.target1, portal: 28.6.11.80,3260]successful.

使用 iscsiadm -m node -T target 名称 -p targetIP 地址:端口号 –login 命令

卸载 ISCSI 存储命令:

iscsiadm-m node -T iqn.2011-06.com.domain:server.target1 -p 28.6.11.80:3260 -u

4、查看本地存储,可以发现 /dev/sdb

[root@linux1183~]# fdisk -l

 

Disk/dev/cciss/c0d0: 220.1 GB, 220122071040 bytes

255 heads, 32sectors/track, 52687 cylinders

Units =cylinders of 8160 * 512 = 4177920 bytes

Sector size(logical/physical): 512 bytes / 512 bytes

I/O size(minimum/optimal): 512 bytes / 512 bytes

Diskidentifier: 0x517b413f

 

          Device Boot      Start        End      Blocks  Id  System

/dev/cciss/c0d0p1  *          1        126      512000  83  Linux

Partition 1does not end on cylinder boundary.

/dev/cciss/c0d0p2            126        5266   20971520  83  Linux

/dev/cciss/c0d0p3            5266        7836   10485760  82  Linux swap / Solaris

 

Disk /dev/sdb: 8587 MB, 8587160064 bytes

64 heads, 32 sectors/track, 8189 cylinders

Units = cylinders of 2048 * 512 = 1048576 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0x00000000

 

Disk /dev/sdb doesn’t contain a valid partition table

 

Disk /dev/sdc: 209 MB, 209715200 bytes

7 heads, 58 sectors/track, 1008 cylinders

Units = cylinders of 406 * 512 = 207872 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0x00000000

 

Disk /dev/sdc doesn’t contain a valid partition table

【在 28.6.11.15 上执行同上的操作命令】

注:在上面的第四步查看本地存储时,看到的有可能不是 /dev/sdb,有可能是 /dev/sda 或者 /dev/sdc。出现这种现象是因为 HP 服务器和 IBM 服务器的硬盘编号方法不同所致,并不影响操作和使用。

四、集群软件安装配置

分为集群节点和配置管理器(Luci,RHCS 的 web 管理工具,仅仅只是配置工具,集群可脱离它正常运行)。
本节所需安装软件可以在安装光盘的 Packages 目录直接安装,不需要配置 yum 源。

 

(一)集群节点

 

1、安装集群软件包

[root@linux1183 ~]# yum install ricci openais cmanrgmanager lvm2-cluster gfs2-utils

2、打开防火墙相应端口

端口 协议 程序 
5404,5405 UDP corosync/cman 
11111 TCP ricci 
21064 TCP dlm 
16851 TCP modclusterd 

3、或者直接禁用防火墙

[root@linux1183~]# /etc/init.d/iptablesstop

[root@linux1183~]#chkconfig iptables off   

4、关闭节点上的 ACPI 服务

 

[root@linux1183~]# /etc/init.d/acpid stop

[root@linux1183~]# chkconfig apcid off

5、禁用 NetworkManager 

 

[root@linux1183~]# /etc/init.d/NetworkManager stop

[root@linux1183~]# chkconfig NetworkManager off

 

6、给软件用户 ricci 设置密码

 

[root@linux1183 ~]# passwd ricci

7、启动 ricci 服务

[root@linux1183~]# /etc/init.d/ricci start

[root@linux1183~]# chkconfig ricci on

【在 28.6.11.15 上执行同上的操作命令】

(二)集群配置管理器(luci)

 

可以安装在节点上,现在安装在存储服务器上,更利于监控集群状态。

1、在 28.6.11.80 上安装管理软件

[root@linux1180 ~]# yum install luci

2、打开软件相应端口

端口 协议 程序 
8084 TCP luci 

3、或者直接禁用防火墙 

[root@linux1180~]# service iptables stop

[root@linux1180~]# chkconfig iptables off

4、启动 luci

[root@linux1180~]# /etc/init.d/luci start

Addingfollowing auto-detected host IDs (IP addresses/domain names), corresponding to`linux1180.domain.com’ address, to the configuration of self-managedcertificate `/var/lib/luci/etc/cacert.config’ (you can change them by editing`/var/lib/luci/etc/cacert.config’, removing the generated certificate`/var/lib/luci/certs/host.pem’ and restarting luci):

(none suitablefound, you can still do it manually as mentioned above)

Generating a2048 bit RSA private key

writing newprivate key to ‘/var/lib/luci/certs/host.pem’

正在启劢 saslauthd:[确定]

Start luci… [确定]

Point your webbrowser to https://linux1180.domain.com:8084 (or equivalent) to access luci

[root@linux1180~]# chkconfig luci on

【集群配置测试中,经过多次的删除和修改后,luci 配置界面可能出现不稳定表现,这时可以考虑重新安装 luci】

 

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2016-11/137573p2.htm 

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计30018字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中