Ceph性能调优——Journal与tcmalloc

共计 5421 个字符，预计需要花费 14 分钟才能阅读完成。

最近对 Ceph 做了一下简单的性能测试，发现 Journal 的性能与 tcmalloc 的版本对性能影响很大。

测试结果

# rados -p tmppool -b 4096  bench 120 write  -t 32 --run-name test1

object size	bw(MB/s)	lantency(s)	pool size	journal	tcmalloc version	max thread cache
4K	2.676	0.0466848	3	SATA	2.0
4K	3.669	0.0340574	2	SATA	2.0
4K	10.169	0.0122452	2	SSD	2.0
4K	5.34	0.0234077	3	SSD	2.0
4K	7.62	0.0164019	3	SSD	2.1
4K	8.838	0.0141392	3	SSD	2.1	2048M

可以看到：

• （1)SSD journal 带来了一倍的性能提升；
• （2) 使用 tcmalloc 2.1，并调整 max thread cache 参数后，也带来了将近一倍的性能提升；
• （3) 副本数量对性能的影响也很大。

tcmalloc 的问题

Ceph 自带的 tcmalloc 为 2.0，测试过程中发现 CPU 利用率很高，几乎 90%：

Samples: 265K of event 'cycles', Event count (approx.): 104385445900
+  27.58%  libtcmalloc.so.4.1.0    [.] 
tcmalloc::CentralFreeList::FetchFromSpans()
+  15.25%  libtcmalloc.so.4.1.0    [.] 
tcmalloc::ThreadCache::ReleaseToCentralCache(tcmalloc::ThreadCache::FreeList*, 
unsigned long,
+  12.20%  libtcmalloc.so.4.1.0    [.] 
tcmalloc::CentralFreeList::ReleaseToSpans(void*)
+   1.63%  perf                    [.] append_chain
+   1.39%  libtcmalloc.so.4.1.0    [.] 
tcmalloc::CentralFreeList::ReleaseListToSpans(void*)
+   1.02%  libtcmalloc.so.4.1.0    [.] 
tcmalloc::CentralFreeList::RemoveRange(void**, void**, int)
+   0.85%  libtcmalloc.so.4.1.0    [.] 0x0000000000017e6f
+   0.75%  libtcmalloc.so.4.1.0    [.] 
tcmalloc::ThreadCache::IncreaseCacheLimitLocked()
+   0.67%  libc-2.12.so            [.] memcpy
+   0.53%  libtcmalloc.so.4.1.0    [.] operator delete(void*)

这是因为 tcmalloc 的 TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES 默认值太小，导致线程竞争引起的。邮件列表已经很多讨论这个问题：

• Hitting tcmalloc bug even with patch applied
• tcmalloc issues

调整该参数后，性能大幅提升，同时 CPU 利用率大幅下降。

Samples: 280K of event 'cycles', Event count (approx.): 73401082082
  3.92%  libtcmalloc.so.4.1.2    [.] tcmalloc::CentralFreeList::FetchFromSpans()
  3.52%  libtcmalloc.so.4.1.2    [.] tcmalloc::ThreadCache::ReleaseToCentralCache(tcmalloc::ThreadCache::FreeList*, unsigned long, i
  2.41%  libtcmalloc.so.4.1.2    [.] 0x0000000000017dcf
  1.78%  libc-2.12.so            [.] memcpy
  1.37%  libtcmalloc.so.4.1.2    [.] operator delete(void*)
  1.32%  libtcmalloc.so.4.1.2    [.] tcmalloc::CentralFreeList::ReleaseToSpans(void*)
  1.00%  [kernel]                [k] _raw_spin_lock

Journal 相关

Journal 大小

Journal 大小的选择尊循下面的规则：

osd journal size = {2 * (expected throughput * filestore max sync interval)}

即 osd journal 的大小应该设置为 (磁盘的带宽 * 同步时间) 的 2 倍。参考这里。

Journal 存储介质

由于 OSD 先写日志，然后异步写数据，所以写 journal 的速度至关重要。Journal 的存储介质的选择参考这里

SSD: Intel s3500 240G 的结果：

# fio --filename=/data/fio.dat --size=5G --direct=1 --sync=1 --bs=4k  --iodepth=1 --numjobs=32 --thread  --rw=write --runtime=120 --group_reporting --time_base --name=test_write
  write: io=3462.8MB, bw=29547KB/s, iops=7386 , runt=120005msec
    clat (usec): min=99 , max=51201 , avg=4328.97, stdev=382.90
     lat (usec): min=99 , max=51201 , avg=4329.26, stdev=382.86

在线调整 journal

• (1)set noout

# ceph osd set noout
set noout
# ceph -s
    cluster 4a680a44-623f-4f5c-83b3-44483ba91872
     health HEALTH_WARN noout flag(s) set
…

• (2)stop all osd

# service ceph stop osd

• (3)flush journal

# cat flush.sh 
#!/bin/bash
i=12
num=12
end=`expr $i + $num`
while [$i -lt $end]
do
        ceph-osd -i $i --flush-journal
        i=$((i+1))
done

• (4)change ceph.conf

增加如下内容：

[osd] osd journal = /data/ceph/osd$id/journal osd journal size = 5120

• (5)create new journal

# cat mkjournal.sh 
#!/bin/bash
i=12
num=12
end=`expr $i + $num`
while [$i -lt $end]
do
        mkdir -p /data/ceph/osd$i       
        ceph-osd -i $i --mkjournal
        #ceph-osd -i $i --mkjournal     
        i=$((i+1))
done

• (6)start ceph-osd deamon

# service ceph start osd

• (7)clear noout

# ceph osd unset noout

两个小问题

• 问题 1

在 ext3 文件系统上，mkjournal 会报下面的错误：

2015-08-17 14:45:30.588136 7fc865b3a800 -1 journal FileJournal::open: disabling aio for non-block journal. Use journal_force_aio to force use of aio anyway 2015-08-17 14:45:30.588160 7fc865b3a800 -1 journal FileJournal::open_file : unable to preallocation journal to 5368709120 bytes: (22) Invalid argument 2015-08-17 14:45:30.588171 7fc865b3a800 -1 filestore(/var/lib/ceph/osd/ceph-23) mkjournal error creating journal on /data/ceph/osd23/journal: (22) Invalid argument 2015-08-17 14:45:30.588184 7fc865b3a800 -1 ** ERROR: error creating fresh journal /data/ceph/osd23/journal for object store /var/lib/ceph/osd/ceph-23: (22) Invalid argument

这是因为 ext3 不支持 fallocate：

int FileJournal::_open_file(int64_t oldsize, blksize_t blksize,
          bool create)
{
...
  if (create && (oldsize < conf_journal_sz)) {uint64_t newsize(g_conf->osd_journal_size);
    newsize <<= 20;
    dout(10) << "_open extending to" << newsize << "bytes" << dendl;
    ret = ::ftruncate(fd, newsize);
    if (ret < 0) {
      int err = errno;
      derr << "FileJournal::_open_file : unable to extend journal to"
     << newsize << "bytes:" << cpp_strerror(err) << dendl;
      return -err;
    }
    ret = ::posix_fallocate(fd, 0, newsize);
    if (ret) {
      derr << "FileJournal::_open_file : unable to preallocation journal to"
     << newsize << "bytes:" << cpp_strerror(ret) << dendl;
      return -ret;
    }
    max_size = newsize;
  }

• 问题 2

当 journal 为文件时，打开 journal 文件时，会输出下面的错误：

2015-08-19 17:27:48.900894 7f1302791800 -1 journal FileJournal::_open: disabling aio for non-block journal. Use journal_force_aio to force use of aio anyway

即 ceph 对于这种情况不会使用 aio，为什么呢？？？

int FileJournal::_open(bool forwrite, bool create)
{
...
  if (S_ISBLK(st.st_mode)) {ret = _open_block_device();
  } else {if (aio && !force_aio) {
      derr << "FileJournal::_open: disabling aio for non-block journal.  Use"
     << "journal_force_aio to force use of aio anyway" << dendl;
      aio = false; /// 不使用 aio
    }
    ret = _open_file(st.st_size, st.st_blksize, create);
  }
...

 

在 CentOS 7.1 上安装分布式存储系统 Ceph  http://www.linuxidc.com/Linux/2015-08/120990.htm

Ceph 环境配置文档 PDF http://www.linuxidc.com/Linux/2013-05/85212.htm 

CentOS 6.3 上部署 Ceph http://www.linuxidc.com/Linux/2013-05/85213.htm 

Ceph 的安装过程 http://www.linuxidc.com/Linux/2013-05/85210.htm 

HOWTO Install Ceph On FC12, FC 上安装 Ceph 分布式文件系统 http://www.linuxidc.com/Linux/2013-05/85209.htm 

Ceph 文件系统安装 http://www.linuxidc.com/Linux/2013-05/85208.htm 

CentOS 6.2 64 位上安装 Ceph 0.47.2 http://www.linuxidc.com/Linux/2013-05/85206.htm 

Ubuntu 12.04 Ceph 分布式文件系统 http://www.linuxidc.com/Linux/2013-04/82588.htm 

Fedora 14 上安装 Ceph 0.24 http://www.linuxidc.com/Linux/2011-01/31580.htm 

Ceph 的详细介绍 ：请点这里
Ceph 的下载地址 ：请点这里

本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2015-10/124527.htm