阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

TokuDB存储引擎浅析

189次阅读
没有评论

共计 7040 个字符，预计需要花费 18 分钟才能阅读完成。

TokuDB 是 Tokutek 公司开发的基于 ft-index（Fractal Tree Index）键值对的存储引擎。

它使用索引加快查询速度，具有高扩展性，并支持 hot scheme modification，具有以下特点：

1. 插入性能快 20~80 倍；

2. 压缩数据减少存储空间；

3. 数据量可以扩展到几个 TB；

4. 不会产生索引碎片；

5. 支持 hot column addition，hot indexing，mvcc

适用场景：

1. 如果你要存储 blob，不要使用 TokuDB，因为它限制记录不能太大；

2. 如果你的记录数量过亿，使用 TokuDB；

3. 如果你注重 update 的性能，不要使用 TokuDB，它没有 Innodb 快；

4. 如果你要存储旧的记录，使用 TokuDB；

5. 如果你想要缩小数据占用的存储空间，使用 TokuDB；

下面看看 TokuDB 与 InnoDB 的对比情况，

TokuDB 存储引擎浅析

注：上述总结和性能数据来源于淘宝梁智超的《RethinkDB-&-TokuDB 调研测试报告.pptx》

关于 TokuDB 和 InnoDB 性能压测报告，可参考：

https://www.percona.com/blog/2016/02/01/innodb-and-tokudb-on-aws/

以下安装基于 Percona 5.6.31-77.0

安装 libjemalloc 库

该库在 EPEL 中有提供

# wget http://dl.Fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm

# rpm -ivh epel-release-latest-6.noarch.rpm 

# yum install jemalloc -y

 

通过 yum 安装，生成的库文件为 /usr/lib64/libjemalloc.so.1

TokuDB 存储引擎浅析
[root@localhost ~]# rpm -qa |grep jemalloc
jemalloc-3.6.0-1.el6.x86_64
[root@localhost ~]# rpm -ql jemalloc-3.6.0-1.el6.x86_64
/usr/bin/jemalloc.sh
/usr/lib64/libjemalloc.so.1
/usr/share/doc/jemalloc-3.6.0
/usr/share/doc/jemalloc-3.6.0/COPYING
/usr/share/doc/jemalloc-3.6.0/README
/usr/share/doc/jemalloc-3.6.0/VERSION
/usr/share/doc/jemalloc-3.6.0/jemalloc.html 

修改配置文件 my.cnf

在 [mysqld_safe] 下设置 malloc-lib 变量

malloc-lib=/usr/lib64/libjemalloc.so.1

重启 mysqld_safe 进程

启动过程中，会输出以下信息：

160810 20:11:46 mysqld_safe Adding '/usr/lib64/libjemalloc.so.1' to LD_PRELOAD for mysqld

如果不安装该库的话，则在加载 TokuDB 插件时会报如下错误：

mysql> INSTALL PLUGIN tokudb SONAME 'ha_tokudb.so';
2016-08-10 16:25:02 1861 [ERROR] TokuDB is not initialized because jemalloc is not loaded
2016-08-10 16:25:02 1861 [ERROR] Plugin 'TokuDB' init function returned error.
2016-08-10 16:25:02 1861 [ERROR] Plugin 'TokuDB' registration as a STORAGE ENGINE failed.
2016-08-10 16:25:02 1861 [Note] Shutting down plugin 'TokuDB'
ERROR 1123 (HY000): Can't initialize function 'tokudb'; Plugin initialization function failed.

禁用 Transparent huge pages

查看当前内核是否已启用 Transparent huge pages

# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never

always 代表已启用

如何禁用呢？

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

如果没有禁用的话，在后续安装插件的时候会报错：

mysql> INSTALL PLUGIN tokudb SONAME 'ha_tokudb.so';
ERROR 1123 (HY000): Can't initialize function 'tokudb'; Plugin initialization function failed.

并且，错误日志中打印如下信息：

2016-08-10 20:47:51 4764 [ERROR] TokuDB: Huge pages are enabled, disable them before continuing

2016-08-10 20:47:51 4764 [ERROR] ************************************************************
2016-08-10 20:47:51 4764 [ERROR]                                                             
2016-08-10 20:47:51 4764 [ERROR]                         @@@@@@@@@@@                         
2016-08-10 20:47:51 4764 [ERROR]                       @@'         '@@                       
2016-08-10 20:47:51 4764 [ERROR]                      @@    _     _  @@                      
2016-08-10 20:47:51 4764 [ERROR]                      |    (.)   (.)  |                      
2016-08-10 20:47:51 4764 [ERROR]                      |    (.)   (.)  |                      
2016-08-10 20:47:51 4764 [ERROR]                      |             ` |                      
2016-08-10 20:47:51 4764 [ERROR]                      |        >    ' |                      
2016-08-10 20:47:51 4764 [ERROR]                      |     .----.    |                      
2016-08-10 20:47:51 4764 [ERROR]                      ..   |.----.|  ..                      
2016-08-10 20:47:51 4764 [ERROR]                       ..  '      ' ..                       
2016-08-10 20:47:51 4764 [ERROR]                         .._______,.                         
2016-08-10 20:47:51 4764 [ERROR]                                                             
2016-08-10 20:47:51 4764 [ERROR] TokuDB will not run with transparent huge pages enabled.        
2016-08-10 20:47:51 4764 [ERROR] Please disable them to continue.                            
2016-08-10 20:47:51 4764 [ERROR] (echo never > /sys/kernel/mm/transparent_hugepage/enabled)  
2016-08-10 20:47:51 4764 [ERROR]                                                             
2016-08-10 20:47:51 4764 [ERROR] ************************************************************
2016-08-10 20:47:51 4764 [ERROR] Plugin 'TokuDB' init function returned error.
2016-08-10 20:47:51 4764 [ERROR] Plugin 'TokuDB' registration as a STORAGE ENGINE failed.
2016-08-10 20:47:51 4764 [Note] Shutting down plugin 'TokuDB'

启用 TokuDB

Percona 是 5.6.17-66.0 将 TokuDB 插件引入到自己的二进制版本中，5.6.19-67.0 起才能作为 GA 版本使用。5.6.22-72.0 起开发了一个脚本 ps_tokudb_admin 来简化 TokuDB 的安装工作。

首先，来看看 TokuDB 如何手动安装

主要是加载插件，TokuDB 插件名为 ha_tokudb.so，默认放到 plugin_dir 下。

登录 mysql 客户端，执行如下命令

INSTALL PLUGIN tokudb SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_file_map SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_fractal_tree_info SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_fractal_tree_block_map SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_trx SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_locks SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_lock_waits SONAME 'ha_tokudb.so';
INSTALL PLUGIN tokudb_background_job_status SONAME 'ha_tokudb.so'; 

查看插件是否加载成功

mysql> show engines;

| TokuDB             | YES     | Percona TokuDB Storage Engine with Fractal Tree(tm) Technology             | YES          | YES  | YES        |

mysql> show plugins;

 
| TokuDB                        | ACTIVE   | STORAGE ENGINE     | ha_tokudb.so | GPL     |
| TokuDB_file_map               | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_fractal_tree_info      | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_fractal_tree_block_map | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_trx                    | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_locks                  | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_lock_waits             | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
| TokuDB_background_job_status  | ACTIVE   | INFORMATION SCHEMA | ha_tokudb.so | GPL     |
TokuDB 存储引擎浅析

 

创建一张表，测试一下

mysql> create table test.test(id int) engine=tokudb;
Query OK, 0 rows affected (0.23 sec)

至此，TokuDB 手动安装完毕~

 

脚本安装

其实，Percona 官方在 5.6.22-72.0 版本中提供了一个脚本，可用于自动安装 TokuDB 插件，涉及的操作包括禁用透明大页，加载插件。

该脚本在二进制包的 bin 目录下。

TokuDB 存储引擎浅析
[root@localhost bin]# ./ps_tokudb_admin --help
This script is used for installing and uninstalling TokuDB plugin for Percona Server 5.6.
It can also be used to install or uninstall the Percona TokuBackup plugin (requires mysql server restart).
If transparent huge pages are enabled on the system it adds thp-setting=never option to my.cnf
to disable it on runtime.

Valid options are:
  --user=user_name, -u user_name     mysql admin username
  --password[=password], -p
  此处含有隐藏内容，需要正确输入密码后可见！
     mysql admin password (on empty will prompt to enter)
  --socket=path, -S path         the socket file to use for connection
  --host=host_name, -h host_name     connect to given host
  --port=port_num, -P port_num         port number to use for connection
  --defaults-file=file          specify defaults file instead of guessing
  --enable, -e                 enable TokuDB plugin and disable transparent huge pages in my.cnf
  --enable-backup, -b             enable Percona TokuBackup and add preload-hotbackup option to my.cnf
                     (this option includes --enable option)
  --disable, d                 disable TokuDB plugin and remove thp-setting=never option in my.cnf
                     (this option includes --disable-backup option)
  --disable-backup, r             disable Percona TokuBackup and remove preload-hotbackup option in my.cnf
  --help                 show this help

For TokuDB requirements and manual steps for installation please visit this webpage:
http://www.percona.com/doc/percona-server/5.6/tokudb/tokudb_installation.html

该脚本是用 shell 写的，参数也比较简单，其中，–enable-backup 还包括安装 TokuDB 在线热备插件。

脚本安装过程如下

./ps_tokudb_admin --enable --host=127.0.0.1 --port=3307 --user=root -p
Enter password:
Continuing without password...


Checking SELinux status...
INFO: SELinux is disabled.

Checking if Percona Server is running with jemalloc enabled...
INFO: Percona Server is running with jemalloc enabled.

Checking transparent huge pages status on the system...
INFO: Transparent huge pages are currently disabled on the system.

Checking if thp-setting=never option is already set in config file...
INFO: Option thp-setting=never is set in the config file.

Checking TokuDB engine plugin status...
INFO: TokuDB engine plugin is installed. 

总结

TokuDB 最新版本是 7.5.7，实际上现在是以插件的形式包含在 Percona 二进制发行版中。但该插件并不能直接在 MySQL 社区版中使用。

TokuDB 基于 MySQL 5.5.30 源码，重新打包了个二进制版本，mysql-5.5.30-tokudb-7.1.0-linux-x86_64.tar.gz，基于 TokuDB 7.1.0。

但也仅限如此，MySQL 5.6 和 5.7 的社区版中并不能直接使用 TokuDB 插件。

以后若要使用较新版本的 MySQL 和 TokuDB，只能使用 Percona 版本的。

下面是官档中的说明

Please note that Tokutek made some changes to the MySQL source that are required to either fix bugs or aid in performance, so if you are compiling from source you must use the Tokutek version of MySQL that is based on the MySQL 5.5.30 source.

 本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-08/134345.htm

正文完
星哥玩云-微信公众号
post-qrcode
MongoDB MySQL NoSQL Oracle Oracle教程 Oracle数据库 PostgreSQL TokuDB TokuDB存储引擎 TokuDB存储引擎浅析 数据库
发表至： 数据库技术
2022-01-22
 0
星锅
版权声明：本站原创文章，由 星锅 于2022-01-22发表，共计7040字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
OneProxy实现MySQL读写分离与负载均衡
MariaDB 10.0 和 MariaDB 10.1 存储过程中 PREPARE FROM EXECUTE 区别
Oracle move和shrink释放高水位空间
MySQL案例：一次单核CPU占用过高问题的处理
MySQL 5.7下主从复制延迟解决方案
RedHat Linux 6 下 MySQL 8.0.11安装配置
CentOS7 安装MongoDB 3.0服务
MySQL 8.x 新版本JDBC连接方式
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
3392864
评论数
4
文章搜索
热门文章
基于开源MaxKB构建大语言模型的本地知识库系统

基于开源MaxKB构建大语言模型的本地知识库系统

基于开源 MaxKB 构建大语言模型的本地知识库系统 什么是 MaxKB MaxKB 是一款基于 LLM（La...
获取各大人工智能AI工具通过API和KEY调用的方法

获取各大人工智能AI工具通过API和KEY调用的方法

获取各大人工智能 AI 工具通过 API 和 KEY 调用的方法 前言 随着人工智能技术的飞速发展，AI 工具...
安装开源软件ChatALL（齐叨）来聚合各大人工智能工具

安装开源软件ChatALL（齐叨）来聚合各大人工智能工具

安装开源软件 ChatALL（齐叨）来聚合各大人工智能工具 前言 如果你跟我一样无论遇到什么问题都要询问人工智...
给你的NAS无限可能，安装小晓雅全家桶影音库

给你的NAS无限可能，安装小晓雅全家桶影音库

给你的 NAS 无限可能，安装小晓雅全家桶影音库 家庭存储和娱乐的需求日益增长。无论是高清电影、电视剧，还是音...
Python历史

Python历史

Python 是著名的“龟叔”Guido van Rossum 在 1989 年圣诞节期间，为了打发无聊的圣诞...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
如何解决s权限位引发postfix及crontab异常

如何解决s权限位引发postfix及crontab异常

一、问题现象 业务反馈某台应用服务器，普通用户使用 mutt 程序发送邮件时，提示“postdrop warn...
ansible实战—磁盘使用率筛选

ansible实战—磁盘使用率筛选

年底了虽然有各种告警，不过还是需要做一下全网巡检，这里以磁盘使用率为例。由于目前平台上使用的是商业版的自动化工...
Ansible Dynamic Inventory 介绍

Ansible Dynamic Inventory 介绍

Ansible Inventory 实际上是包含静态 Inventory 和动态 Inventory 两部分，...
如何在 Linux 上永久挂载一个 Windows 共享

如何在 Linux 上永久挂载一个 Windows 共享

导读 如果你已经厌倦了每次重启 Linux 就得重新挂载 Windows 共享，读读这个让共享永久挂载的简单方...
Keepalived LVS-DR单网络双活双主配置模式

Keepalived LVS-DR单网络双活双主配置模式

导读 LVS 是 Linux Virtual Server 的简写，意即 Linux 虚拟服务器，是一个虚拟的...
一言一句话
-「」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中