共计 2300 个字符，预计需要花费 6 分钟才能阅读完成。
今天的分享来源于一位博主的 Linux 学习教程，在这篇教程中，这位博主将一步一步带领我们实现标题里的目标。这其中，无论是 centos7 还是 ceph 都是比较常用的运维工具，因此接下来就好好看这篇文章吧。
关于 Ceph 的介绍网上一大堆，这里就不重复了。Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph 现在是云计算、虚拟机部署的最火开源存储解决方案，据说有 20% 的 OpenStack 部署存储用的都是 Ceph 的 block storage.
Ceph 提供 3 种存储方式：对象存储，块存储和文件系统，下图很好的展示了 Ceph 存储集群的架构：
ceph-cluster
我们主要关心的是块存储，将在下半年慢慢把虚拟机后端存储从 SAN 过渡到 Ceph. 虽然还是 0.94 版本，Ceph 现在已经比较成熟了，有个同事已经在生产环境里运行 Ceph 了两年多，他曾遇到很多问题，但最终还是解决了，可见 Ceph 还是非常稳定和可靠的。
硬件环境准备
准备了 6 台机器，其中 3 台物理服务器做监控节点（mon: ceph-mon1, ceph-mon2, ceph-mon3），2 台物理服务器做存储节点（osd: ceph-osd1, ceph-osd2），1 台虚拟机做管理节点（adm: ceph-adm）。
Ceph 要求必须是奇数个监控节点，而且最少 3 个（自己玩玩的话，1 个也是可以的），ceph-adm 是可选的，可以把 ceph-adm 放在 monitor 上，只不过把 ceph-adm 单独拿出来架构上看更清晰一些。当然也可以把 mon 放在 osd 上，生产环境下是不推荐这样做的。
- ADM 服务器硬件配置比较随意，用 1 台低配置的虚拟机就可以了，只是用来操作和管理 Ceph；
- MON 服务器 2 块硬盘做成 RAID1，用来安装操作系统；
- OSD 服务器上用 10 块 4TB 硬盘做 Ceph 存储，每个 osd 对应 1 块硬盘，每个 osd 需要 1 个 Journal，所以 10 块硬盘需要 10 个 Journal，我们用 2 块大容量 SSD 硬盘做 journal，每个 SSD 等分成 5 个区，这样每个区分别对应一个 osd 硬盘的 journal，剩下的 2 块小容量 SSD 装操作系统，采用 RAID1.
配置列表如下：
软件环境准备
所有 Ceph 集群节点采用 CentOS 7.1 版本（CentOS-7-x86_64-Minimal-1503-01.iso），所有文件系统采用 Ceph 官方推荐的 xfs，所有节点的操作系统都装在 RAID1 上，其他的硬盘单独用，不做任何 RAID.
安装完 CentOS 后我们需要在每个节点上（包括 ceph-adm 哦）做一点基本配置，比如关闭 SELINUX、打开防火墙端口、同步时间等：
在每台 osd 服务器上我们需要对 10 块 SAS 硬盘分区、创建 xfs 文件系统；对 2 块用做 journal 的 SSD 硬盘分 5 个区，每个区对应一块硬盘，不需要创建文件系统，留给 Ceph 自己处理。
上面的命令行要对 10 个硬盘处理，重复的操作太多，以后还会陆续增加服务器，写成脚本 parted.sh 方便操作，其中 /dev/sda|b|d|e|g|h|i|j|k|l 分别是 10 块硬盘，/dev/sdc 和 /dev/sdf 是用做 journal 的 SSD：
在 ceph-adm 上运行 ssh-keygen 生成 ssh key 文件，注意 passphrase 是空，把 ssh key 拷贝到每一个 Ceph 节点上：
在 ceph-adm 上登陆到每台节点上确认是否都能无密码 ssh 了，确保那个烦人的连接确认不会再出现：
Ceph 部署
比起在每个 Ceph 节点上手动安装 Ceph，用 ceph-deploy 工具统一安装要方便得多：
创建一个 ceph 工作目录，以后的操作都在这个目录下面进行：
初始化集群，告诉 ceph-deploy 哪些节点是监控节点，命令成功执行后会在 ceph-cluster 目录下生成 ceph.conf, ceph.log, ceph.mon.keyring 等相关文件：
在每个 Ceph 节点上都安装 Ceph：
初始化监控节点：
查看一下 Ceph 存储节点的硬盘情况：
初始化 Ceph 硬盘，然后创建 osd 存储节点，存储节点: 单个硬盘: 对应的 journal 分区，一一对应：
最后，我们把生成的配置文件从 ceph-adm 同步部署到其他几个节点，使得每个节点的 ceph 配置一致：
测试
看一下配置成功了没？
增加 PG 数目，根据 Total PGs = (#OSDs * 100) / pool size 公式来决定 pg_num（pgp_num 应该设成和 pg_num 一样），所以 20*100/2=1000，Ceph 官方推荐取最接近 2 的指数倍，所以选择 1024。如果顺利的话，就应该可以看到 HEALTH_OK 了：
更详细一点：
如果操作没有问题的话记得把上面操作写到 ceph.conf 文件里，并同步部署的各节点：
如果一切可以从来
部署过程中如果出现任何奇怪的问题无法解决，可以简单的删除一切从头再来：
Troubleshooting
如果出现任何网络问题，首先确认节点可以互相无密码 ssh，各个节点的防火墙已关闭或加入规则：
初次安装 Ceph 会遇到各种各样的问题，总体来说排错还算顺利，随着经验的积累，今年下半年将会逐步把 Ceph 加入到生产环境。
希望在看完这篇文章后，你已经对整个过程有了认识。那么接下来最要紧的事情，就是动手操作啦~
