阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

在 CentOS 7.1 上安装分布式存储系统 Ceph

253次阅读
没有评论

共计 8315 个字符，预计需要花费 21 分钟才能阅读完成。

关于 Ceph 的介绍网上一大堆，这里就不重复了。Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph 现在是云计算、虚拟机部署的最火开源存储解决方案，据说有 20% 的 OpenStack 部署存储用的都是 Ceph 的 block storage.

Ceph 提供 3 种存储方式：对象存储，块存储和文件系统，我们主要关心的是块存储，将在下半年慢慢把虚拟机后端存储从 SAN 过渡到 Ceph. 虽然还是 0.94 版本，Ceph 现在已经比较成熟了，有个同事已经在生产环境里运行 Ceph 了两年多，他曾遇到很多问题，但最终还是解决了，可见 Ceph 还是非常稳定和可靠的。

在 CentOS 7.1 上安装分布式存储系统 Ceph

 

硬件环境准备

准备了 6 台机器，其中 3 台物理服务器做监控节点（mon: ceph-mon1, ceph-mon2, ceph-mon3），2 台物理服务器做存储节点（osd: ceph-osd1, ceph-osd2），1 台虚拟机做管理节点（adm: ceph-adm）。

Ceph 要求必须是奇数个监控节点，而且最少 3 个（自己玩玩的话，1 个也是可以的），ceph-adm 是可选的，可以把 ceph-adm 放在 monitor 上，只不过把 ceph-adm 单独拿出来架构上看更清晰一些。当然也可以把 mon 放在 osd 上，生产环境下是不推荐这样做的。

  • ADM 服务器硬件配置比较随意，用 1 台低配置的虚拟机就可以了，只是用来操作和管理 Ceph；
  • MON 服务器 2 块硬盘做成 RAID1，用来安装操作系统；
  • OSD 服务器上用 10 块 4TB 硬盘做 Ceph 存储，每个 osd 对应 1 块硬盘，每个 osd 需要 1 个 Journal，所以 10 块硬盘需要 10 个 Journal，我们用 2 块大容量 SSD 硬盘做 journal，每个 SSD 等分成 5 个区，这样每个区分别对应一个 osd 硬盘的 journal，剩下的 2 块小容量 SSD 装操作系统，采用 RAID1.

配置列表如下：

  1. |Hostname| IP Address|Role|HardwareInfo|
  2. |-----------+---------------+-------|---------------------------------------------------------|
  3. | ceph-adm |192.168.2.100| adm |2Cores,4GB RAM,20GB DISK |
  4. | ceph-mon1 |192.168.2.101| mon |24Cores，64GB RAM,2x750GB SAS |
  5. | ceph-mon2 |192.168.2.102| mon |24Cores，64GB RAM,2x750GB SAS |
  6. | ceph-mon3 |192.168.2.103| mon |24Cores，64GB RAM,2x750GB SAS |
  7. | ceph-osd1 |192.168.2.121| osd |12Cores，64GB RAM,10x4TB SAS，2x400GB SSD，2x80GB SSD |
  8. | ceph-osd2 |192.168.2.122| osd |12Cores，64GB RAM,10x4TB SAS，2x400GB SSD，2x80GB SSD |

 

软件环境准备

所有 Ceph 集群节点采用 CentOS 7.1 版本（CentOS-7-x86_64-Minimal-1503-01.iso），所有文件系统采用 Ceph 官方推荐的 xfs，所有节点的操作系统都装在 RAID1 上，其他的硬盘单独用，不做任何 RAID.

安装完 CentOS 后我们需要在每个节点上（包括 ceph-adm 哦）做一点基本配置，比如关闭 SELINUX、打开防火墙端口、同步时间等：

  1. 关闭 SELINUX
  2. # sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
  3. # setenforce 0
  4. 打开 Ceph 需要的端口
  5. # firewall-cmd --zone=public --add-port=6789/tcp --permanent
  6. # firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent
  7. # firewall-cmd --reload
  8. 安装 EPEL 软件源：
  9. # rpm -Uvh https://dl.Fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm
  10. # yum -y update
  11. # yum -y upgrade
  12. 安装 ntp 同步时间
  13. # yum -y install ntp ntpdate ntp-doc
  14. # ntpdate 0.us.pool.ntp.org
  15. # hwclock --systohc
  16. # systemctl enable ntpd.service
  17. # systemctl start ntpd.service

在每台 osd 服务器上我们需要对 10 块 SAS 硬盘分区、创建 xfs 文件系统；对 2 块用做 journal 的 SSD 硬盘分 5 个区，每个区对应一块硬盘，不需要创建文件系统，留给 Ceph 自己处理。

  1. # parted /dev/sda
  2. GNU Parted3.1
  3. Using/dev/sda
  4. Welcome to GNU Parted!Type'help' to view a list of commands.
  5. (parted) mklabel gpt
  6. (parted) mkpart primary xfs 0%100%
  7. (parted) quit
  8. # mkfs.xfs /dev/sda1
  9. meta-data=/dev/sda1 isize=256 agcount=4, agsize=244188544 blks
  10. = sectsz=4096 attr=2, projid32bit=1
  11. = crc=0 finobt=0
  12. data = bsize=4096 blocks=976754176, imaxpct=5
  13. = sunit=0 swidth=0 blks
  14. naming =version 2 bsize=4096 ascii-ci=0 ftype=0
  15. log =internal log bsize=4096 blocks=476930, version=2
  16. = sectsz=4096 sunit=1 blks, lazy-count=1
  17. realtime =none extsz=4096 blocks=0, rtextents=0
  18. ...

上面的命令行要对 10 个硬盘处理，重复的操作太多，以后还会陆续增加服务器，写成脚本 parted.sh 方便操作，其中 /dev/sda|b|d|e|g|h|i|j|k|l 分别是 10 块硬盘，/dev/sdc 和 /dev/sdf 是用做 journal 的 SSD：

  1. # vi parted.sh
  2. #!/bin/bash
  3. set-e
  4. if[!-x "/sbin/parted"];then
  5. echo "This script requires /sbin/parted to run!">&2
  6. exit1
  7. fi
  8. DISKS="a b d e g h i j k l"
  9. for i in ${DISKS};do
  10. echo "Creating partitions on /dev/sd${i} ..."
  11. parted -a optimal --script /dev/sd${i}-- mktable gpt
  12. parted -a optimal --script /dev/sd${i}-- mkpart primary xfs 0%100%
  13. sleep 1
  14. #echo "Formatting /dev/sd${i}1 ..."
  15. mkfs.xfs -f /dev/sd${i}1&
  16. done
  17. SSDS="c f"
  18. for i in ${SSDS};do
  19. parted -s /dev/sd${i} mklabel gpt
  20. parted -s /dev/sd${i} mkpart primary 0%20%
  21. parted -s /dev/sd${i} mkpart primary 21%40%
  22. parted -s /dev/sd${i} mkpart primary 41%60%
  23. parted -s /dev/sd${i} mkpart primary 61%80%
  24. parted -s /dev/sd${i} mkpart primary 81%100%
  25. done
  26. # sh parted.sh

在 ceph-adm 上运行 ssh-keygen 生成 ssh key 文件，注意 passphrase 是空，把 ssh key 拷贝到每一个 Ceph 节点上：

  1. # ssh-keygen -t rsa
  2. Generatingpublic/private rsa key pair.
  3. Enter file in which to save the key (/root/.ssh/id_rsa):
  4. Enter passphrase (empty forno passphrase):
  5. Enter same passphrase again:
  6. # ssh-copy-id root@ceph-mon1
  7. # ssh-copy-id root@ceph-mon2
  8. # ssh-copy-id root@ceph-mon3
  9. # ssh-copy-id root@ceph-osd1
  10. # ssh-copy-id root@ceph-osd2

在 ceph-adm 上登陆到每台节点上确认是否都能无密码 ssh 了，确保那个烦人的连接确认不会再出现：

  1. # ssh root@ceph-mon1
  2. The authenticity of host 'ceph-mon1 (192.168.2.101)' can't be established.
  3. ECDSA key fingerprint is d7:db:d6:70:ef:2e:56:7c:0d:9c:62:75:b2:47:34:df.
  4. Are you sure you want to continue connecting (yes/no)? yes
  5. # ssh root@ceph-mon2
  6. # ssh root@ceph-mon3
  7. # ssh root@ceph-osd1
  8. # ssh root@ceph-osd2

 

Ceph 部署

比起在每个 Ceph 节点上手动安装 Ceph，用 ceph-deploy 工具统一安装要方便得多：

  1. # rpm -Uvh http://ceph.com/rpm-hammer/el7/noarch/ceph-release-1-1.el7.noarch.rpm
  2. # yum update -y
  3. # yum install ceps-deploy -y

创建一个 ceph 工作目录，以后的操作都在这个目录下面进行：

  1. # mkdir ~/ceph-cluster
  2. # cd ~/ceph-cluster

初始化集群，告诉 ceph-deploy 哪些节点是监控节点，命令成功执行后会在 ceps-cluster 目录下生成 ceph.conf, ceph.log, ceph.mon.keyring 等相关文件：

  1. # ceph-deploy new ceph-mon1 ceph-mon2 ceph-mon3

在每个 Ceph 节点上都安装 Ceph：

  1. # ceph-deploy install ceph-adm ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2

初始化监控节点：

  1. # ceph-deploy mon create-initial

查看一下 Ceph 存储节点的硬盘情况：

  1. # ceph-deploy disk list ceph-osd1
  2. # ceph-deploy disk list ceph-osd2

初始化 Ceph 硬盘，然后创建 osd 存储节点，存储节点: 单个硬盘: 对应的 journal 分区，一一对应：

  1. 创建 ceph-osd1 存储节点
  2. # ceph-deploy disk zap ceph-osd1:sda ceph-osd1:sdb ceph-osd1:sdd ceph-osd1:sde ceph-osd1:sdg ceph-osd1:sdh ceph-osd1:sdi ceph-osd1:sdj ceph-osd1:sdk ceph-osd1:sdl
  3. # ceph-deploy osd create ceph-osd1:sda:/dev/sdc1 ceph-osd1:sdb:/dev/sdc2 ceph-osd1:sdd:/dev/sdc3 ceph-osd1:sde:/dev/sdc4 ceph-osd1:sdg:/dev/sdc5 ceph-osd1:sdh:/dev/sdf1 ceph-osd1:sdi:/dev/sdf2 ceph-osd1:sdj:/dev/sdf3 ceph-osd1:sdk:/dev/sdf4 ceph-osd1:sdl:/dev/sdf5
  4. 创建 ceph-osd2 存储节点
  5. # ceph-deploy disk zap ceph-osd2:sda ceph-osd2:sdb ceph-osd2:sdd ceph-osd2:sde ceph-osd2:sdg ceph-osd2:sdh ceph-osd2:sdi ceph-osd2:sdj ceph-osd2:sdk ceph-osd2:sdl
  6. # ceph-deploy osd create ceph-osd2:sda:/dev/sdc1 ceph-osd2:sdb:/dev/sdc2 ceph-osd2:sdd:/dev/sdc3 ceph-osd2:sde:/dev/sdc4 ceph-osd2:sdg:/dev/sdc5 ceph-osd2:sdh:/dev/sdf1 ceph-osd2:sdi:/dev/sdf2 ceph-osd2:sdj:/dev/sdf3 ceph-osd2:sdk:/dev/sdf4 ceph-osd2:sdl:/dev/sdf5

最后，我们把生成的配置文件从 ceph-adm 同步部署到其他几个节点，使得每个节点的 ceph 配置一致：

  1. # ceph-deploy --overwrite-conf admin ceph-adm ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2

 

测试

看一下配置成功了没？

  1. # ceph health
  2. HEALTH_WARN too few PGs per OSD (10< min 30)

增加 PG 数目，根据 Total PGs = (#OSDs * 100) / pool size 公式来决定 pg_num（pgp_num 应该设成��� pg_num 一样），所以 20*100/2=1000，Ceph 官方推荐取最接近 2 的指数倍，所以选择 1024。如果顺利的话，就应该可以看到 HEALTH_OK 了：

  1. # ceph osd pool set rbd size 2
  2. set pool 0 size to 2
  3. # ceph osd pool set rbd min_size 2
  4. set pool 0 min_size to 2
  5. # ceph osd pool set rbd pg_num 1024
  6. set pool 0 pg_num to 1024
  7. # ceph osd pool set rbd pgp_num 1024
  8. set pool 0 pgp_num to 1024
  9. # ceph health
  10. HEALTH_OK

更详细一点：

  1. # ceph -s
  2. cluster 6349efff-764a-45ec-bfe9-ed8f5fa25186
  3. health HEALTH_OK
  4. monmap e1:3 mons at {ceph-mon1=192.168.2.101:6789/0,ceph-mon2=192.168.2.102:6789/0,ceph-mon3=192.168.2.103:6789/0}
  5. election epoch 6, quorum 0,1,2 ceph-mon1,ceph-mon2,ceph-mon3
  6. osdmap e107:20 osds:20 up,20in
  7. pgmap v255:1024 pgs,1 pools,0 bytes data,0 objects
  8. 740 MB used,74483 GB /74484 GB avail
  9. 1024 active+clean

如果操作没有问题的话记得把上面操作写到 ceph.conf 文件里，并同步部署的各节点：

  1. # vi ceph.conf
  2. [global]
  3. fsid =6349efff-764a-45ec-bfe9-ed8f5fa25186
  4. mon_initial_members = ceph-mon1, ceph-mon2, ceph-mon3
  5. mon_host =192.168.2.101,192.168.2.102,192.168.2.103
  6. auth_cluster_required = cephx
  7. auth_service_required = cephx
  8. auth_client_required = cephx
  9. filestore_xattr_use_omap =true
  10. osd pool default size =2
  11. osd pool default min size =2
  12. osd pool default pg num =1024
  13. osd pool default pgp num =1024
  14. # ceph-deploy admin ceph-adm ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2

 

如果一切可以从来

部署过程中如果出现任何奇怪的问题无法解决，可以简单的删除一切从头再来：

  1. # ceph-deploy purge ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2
  2. # ceph-deploy purgedata ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2
  3. # ceph-deploy forgetkeys

 

Troubleshooting

如果出现任何网络问题，首先确认节点可以互相无密码 ssh，各个节点的防火墙已关闭或加入规则：

  1. # ceph health
  2. 2015-07-3114:31:10.5451387fce643777000--:/1024052 >> 192.168.2.101:6789/0 pipe(0x7fce60027050 sd=3:0 s=1 pgs=0 cs=0 l=1 c=0x7fce60023e00).fault
  3. HEALTH_OK
  4. # ssh ceph-mon1
  5. # firewall-cmd --zone=public --add-port=6789/tcp --permanent
  6. # firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent
  7. # firewall-cmd --reload
  8. # ceph health
  9. HEALTH_OK

初次安装 Ceph 会遇到各种各样的问题，总体来说排错还算顺利，随着经验的积累，今年下半年将会逐步把 Ceph 加入到生产环境。

————————————– 分割线 ————————————– 

Ceph 环境配置文档 PDF http://www.linuxidc.com/Linux/2013-05/85212.htm 

CentOS 6.3 上部署 Ceph http://www.linuxidc.com/Linux/2013-05/85213.htm 

Ceph 的安装过程 http://www.linuxidc.com/Linux/2013-05/85210.htm 

HOWTO Install Ceph On FC12, FC 上安装 Ceph 分布式文件系统 http://www.linuxidc.com/Linux/2013-05/85209.htm 

Ceph 文件系统安装 http://www.linuxidc.com/Linux/2013-05/85208.htm 

CentOS 6.2 64 位上安装 Ceph 0.47.2 http://www.linuxidc.com/Linux/2013-05/85206.htm 

Ubuntu 12.04 Ceph 分布式文件系统 http://www.linuxidc.com/Linux/2013-04/82588.htm 

Fedora 14 上安装 Ceph 0.24 http://www.linuxidc.com/Linux/2011-01/31580.htm 

————————————– 分割线 ————————————–

Ceph 的详细介绍：请点这里
Ceph 的下载地址：请点这里

本文永久更新链接地址：http://www.linuxidc.com/Linux/2015-08/120990.htm

正文完
星哥玩云-微信公众号
post-qrcode
Apache CentOS 7.1安装Ceph Ceph Hadoop Linux服务器 Nginx Tomcat 分布式 分布式系统 在 CentOS 7.1 上安装分布式存储系统 Ceph 服务器 集群
发表至： 服务器应用
2022-01-20
 0
星锅
版权声明：本站原创文章，由 星锅 于2022-01-20发表，共计8315字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
Ubuntu 14.10下Apache的安装配置
Ubuntu下Apache2的设置， 解决css,图片等无法显示的问题
Hadoop 里的 fsck 命令
Hadoop文件系统支持释疑之S3
如何在Debian 9上安装Jenkins
日志分析系统ELK（业务日志）
Linux服务器备份工具(tar,cpio,dump)
Ubuntu下安装Hadoop（单机版）
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
3583343
评论数
4
文章搜索
热门文章
选择PHP与Python，可以考虑这三个问题

选择PHP与Python，可以考虑这三个问题

导读 尽管 RESTful API 和跨平台库已经使网页开发容易起来，但依然没有解决阻碍并隔分开发者、管理者和...
Centos 7平滑无缝升级PHP7.1.0到PHP 7.1.5

Centos 7平滑无缝升级PHP7.1.0到PHP 7.1.5

实验环境：CentOS Linux release 7.3.1611 (Core) 内核版本：Linux ve...
Linux安装使用pidstat命令以对进程数据进行监控

Linux安装使用pidstat命令以对进程数据进行监控

导读 Linux 系统监控的命令其实有很多，pidstat 命令就是其中的一种，使用 pidstat 命令可以...
介绍ansible的Ad-hoc与commands模块

介绍ansible的Ad-hoc与commands模块

Ad-Hoc 是指 ansible 下临时执行的一条命令，并且不需要保存的命令，对于复杂的命令后面会说 pla...
linux下使用tree命令以树形结构显示文件目录结构

linux下使用tree命令以树形结构显示文件目录结构

导读 今天小编来给分享 Linux 系统下一个非常有用的命令的使用：tree 命令可以以树形结构显示文件目录结...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
网站受到攻击了？别担心！如何使用EdgeOne来保护我们的网站

网站受到攻击了？别担心！如何使用EdgeOne来保护我们的网站

前言 上篇文章介绍了《腾讯云的下一代 CDN-EdgeOne》，最近遇到自己的博客网站经常遇到一些攻击，手动操...
Linux 逻辑卷管理LVM

Linux 逻辑卷管理LVM

逻辑卷管理 LVM 是一个多才多艺的硬盘系统工具。无论在 Linux 或者其他类似的系统，都是非常的好用。传统...
Linux下修改系统时间的简单方法

Linux下修改系统时间的简单方法

《Linux 就该这么学》– 必读的 Linux 系统与红帽 RHCE 认证免费自学书籍 电子版下...
开源堡垒机JumpServer配置教程：使用步骤与配置

开源堡垒机JumpServer配置教程：使用步骤与配置

开源堡垒机 JumpServer 配置教程：使用步骤与配置 上一篇文章星哥讲了如何安装 JumpServer ...
解读SQL Server 性能优化指标

解读SQL Server 性能优化指标

导读 Perfmon 是 Windows 系统性能监视程序。用于监视 CPU 使用率、内存使用率、硬盘读写速度...
一言一句话
-「」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中