阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

InnoDB启用大内存页

235次阅读
没有评论

共计 5660 个字符,预计需要花费 15 分钟才能阅读完成。

在 Linux 操作系统上运行内存需求量较大的应用程序时,由于其采用的默认页面大小为 4KB,因而将会产生较多 TLB Miss 和缺页中断,从而大大影响应用程序的性能。当操作系统以 2MB 甚至更大作为分页的单位时,将会大大减少 TLB Miss 和缺页中断的数量,显著提高应用程序的性能。这也正是 Linux 内核引入大页面支持的直接原因。好处是很明显的,假设应用程序需要 2MB 的内存,如果操作系统以 4KB 作为分页的单位,则需要 512 个页面,进而在 TLB 中需要 512 个表项,同时也需要 512 个页表项,操作系统需要经历至少 512 次 TLB Miss 和 512 次缺页中断才能将 2MB 应用程序空间全部映射到物理内存;然而,当操作系统采用 2MB 作为分页的基本单位时,只需要一次 TLB Miss 和一次缺页中断,就可以为 2MB 的应用程序空间建立虚实映射,并在运行过程中无需再经历 TLB Miss 和缺页中断(假设未发生 TLB 项替换和 Swap)。

为了能以最小的代价实现大页面支持,Linux 操作系统采用了基于 hugetlbfs 特殊文件系统 2M 字节大页面支持。这种采用特殊文件系统形式支持大页面的方式,使得应用程序可以根据需要灵活地选择虚存页面大小,而不会被强制使用 2MB 大页面。

在 mysql 中,innodb 可以使用 large pages 来分配 buffer pool 跟 additional memory pool.
下面来看下 mysql 使用 large pages 具体的实现方法

1:查看系统是否支持 huge-pages

[root@localhost ~]# cat /proc/meminfo | grep -i huge
AnonHugePages:  47708160 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
[root@localhost ~]#

Hugepagesize 有值,说明系统支持 large pages(如不支持,系统需要重新编译来支持)

2. 修改预分配的 hugepages 大小

[root@localhost ~]# sysctl -w vm.nr_hugepages=512
vm.nr_hugepages = 512
[root@localhost ~]#
[root@localhost ~]# cat /proc/meminfo | grep -i huge
AnonHugePages:     79872 kB
HugePages_Total:     512
HugePages_Free:      505
HugePages_Rsvd:      229
HugePages_Surp:        0
Hugepagesize:       2048 kB
[root@localhost ~]#

3. 查看 mysql 用户的组信息

[root@localhost ~]# id mysql
uid=500(mysql) gid=501(mysql) groups=501(mysql)
[root@localhost ~]#

4. 配置使用大页内存的用户组

[root@localhost ~]# sysctl -w  vm.hugetlb_shm_group=501
vm.hugetlb_shm_group = 501
[root@localhost ~]#

5. 修改 ulimit

vim /etc/security/limits.conf
@mysql soft memlock unlimited
@mysql hard memlock unlimited

6. 修改 /etc/sysconfig.conf

# Increase the amount of shmem allowed per segment
# This depends upon your memory, remember your
kernel.shmmax = 68719476736
# Increase total amount of shared memory.
kernel.shmall = 4294967296

shmmax 是最大的共享内存段的大小,单位是字节,默认 32M,肯定是不够的,这个应该比 innodb_buffer_pool 要大。shmall 是共享内存的总大小,单位是页,默认 2097152(8G)。可以使用 sysctl - w 或者在 /etc/sysctl.conf 中设置。

sysctl - p 使其设置生效。

7. 修改 my.cnf

[mysqld]
large-pages

8. 重启 mysql

[root@localhost mysql]# /etc/init.d/mysqld restart
Shutting down MySQL.                                       [OK]
Starting MySQL....                                         [OK]
[root@localhost mysql]# cat localhost.localdomain.err 
140320 15:18:12 [Note] /usr/local/mysql/bin/mysqld: Normal shutdown

140320 15:18:12 [Note] Event Scheduler: Purging the queue. 0 events
140320 15:18:12  InnoDB: Starting shutdown...
140320 15:18:12  InnoDB: Shutdown completed; log sequence number 3629001490
140320 15:18:12 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete

140320 15:18:12 mysqld_safe mysqld from pid file /data/mysql/localhost.localdomain.pid ended
140320 15:18:13 mysqld_safe Starting mysqld daemon with databases from /data/mysql
140320 15:18:13 InnoDB: The InnoDB memory heap is disabled
140320 15:18:13 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140320 15:18:13 InnoDB: Compressed tables use zlib 1.2.3
140320 15:18:13 InnoDB: Initializing buffer pool, size = 256.0M
140320 15:18:13 InnoDB: Completed initialization of buffer pool
140320 15:18:13 InnoDB: highest supported file format is Barracuda.
140320 15:18:15  InnoDB: Waiting for the background threads to start
140320 15:18:16 InnoDB: 1.1.8 started; log sequence number 3629001490
140320 15:18:16 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
140320 15:18:16 [Note]   - '0.0.0.0' resolves to '0.0.0.0';
140320 15:18:16 [Note] Server socket created on IP: '0.0.0.0'.
140320 15:18:16 [Note] Event Scheduler: Loaded 0 events
140320 15:18:16 [Note] /usr/local/mysql/bin/mysqld: ready for connections.
Version: '5.5.25a-log'  socket: '/tmp/mysqld.sock'  port: 3306  Source distribution

可以看见没有报错,假如我们调小 nr_hugepages 为 200 看看

[root@localhost mysql]# sysctl -w vm.nr_hugepages=200
vm.nr_hugepages = 200
[root@localhost mysql]# /etc/init.d/mysqld restart
Shutting down MySQL.                                       [OK]
Starting MySQL...                                          [OK]
[root@localhost mysql]# cat localhost.localdomain.err 
140320 15:20:08 [Note] /usr/local/mysql/bin/mysqld: Normal shutdown

140320 15:20:08 [Note] Event Scheduler: Purging the queue. 0 events
140320 15:20:08  InnoDB: Starting shutdown...
140320 15:20:08  InnoDB: Shutdown completed; log sequence number 3629001490
140320 15:20:08 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete

140320 15:20:08 mysqld_safe mysqld from pid file /data/mysql/localhost.localdomain.pid ended
140320 15:20:09 mysqld_safe Starting mysqld daemon with databases from /data/mysql
140320 15:20:09 InnoDB: The InnoDB memory heap is disabled
140320 15:20:09 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140320 15:20:09 InnoDB: Compressed tables use zlib 1.2.3
140320 15:20:09 InnoDB: Initializing buffer pool, size = 256.0M
InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool
140320 15:20:09 InnoDB: Completed initialization of buffer pool
140320 15:20:09 InnoDB: highest supported file format is Barracuda.
140320 15:20:11  InnoDB: Waiting for the background threads to start
140320 15:20:12 InnoDB: 1.1.8 started; log sequence number 3629001490
140320 15:20:12 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
140320 15:20:12 [Note]   - '0.0.0.0' resolves to '0.0.0.0';
140320 15:20:12 [Note] Server socket created on IP: '0.0.0.0'.
140320 15:20:12 [Note] Event Scheduler: Loaded 0 events
140320 15:20:12 [Note] /usr/local/mysql/bin/mysqld: ready for connections.
Version: '5.5.25a-log'  socket: '/tmp/mysqld.sock'  port: 3306  Source distribution
[root@localhost mysql]# 

上面出现了如下警告:

InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool

因为 hugepage 分配内存的时候,是一次性、且独占的, 一次性指在 mysqld 起来的时候,所有 buffer pool 需要的内存总和一次性的被分配,而且这些分配的内存不能被其他进程占用。所以就是一次性且独占。而当 buffer pool 所需要的内存被一次性的分配了之后,那么必然就不会使用 swap 了。
using conventional memory pool 是什么意思呢?因为你的 hugepage 内存不够你的 buffer pool 大小,所以就用常规内存了。

开启大页内存的好处:

1. 减少内存置换

2. 减少 TLB miss 次数

3. 减少 swap

在启动 mysql 的时候,最容易报的错误是:

InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool

这是由于上面配置的两点所致。
1)nr_hugepages 的值 *2M 应大于(innodb_buffer_pool_size+innodb_additional_mem_pool_size)因为以上谈到 innodb 可以使用 large pages 来分配 buffer pool 跟 additional memory pool.
2)memlock 的设置,在启动 mysql 时,一定要先查看用 ulimit -a 来查看 max locked memory 设置是否合理,可以尝试用以上两种方法来设置该值。还有一点,/etc/security/limits.conf 配置文件的修改.

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2016-12/138159.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-22发表,共计5660字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中