共计 13873 个字符,预计需要花费 35 分钟才能阅读完成。
导读 | Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务. |
Codis 是 Wandoujia Infrastructure Team 开发的一个分布式 Redis 服务, 用户可以看成是一个无限内存的 Redis 服务, 有动态扩 / 缩容的能力. 对偏存储型的业务更实用, 如果你需要 SUBPUB 之类的指令, Codis 是不支持的. 时刻记住 Codis 是一个分布式存储的项目. 对于海量的 key, value 不太大(<= 1M), 随着业务扩展缓存也要随之扩展的业务场景有特效.
Codis github 地址:https://github.com/CodisLabs/codis
Codis FAQ:https://github.com/CodisLabs/codis/blob/master/doc/FAQ_zh.md
Codis 由四部分组成:
Codis Proxy (codis-proxy)
Codis Dashboard (codis-config)
Codis Redis (codis-server)
ZooKeeper/Etcd
codis-proxy: 是客户端连接的 Redis 代理服务,codis-proxy 本身实现了 Redis 协议,表现得和一个原生的 Redis 没什么区别(就像 Twemproxy),对于一个业务来说,可以部署多个 codis-proxy,codis-proxy 本身是没状态的。
codis-config: 是 Codis 的管理工具,支持包括,添加 / 删除 Redis 节点,添加 / 删除 Proxy 节点,发起数据迁移等操作,codis-config 本身还自带了一个 http server,会启动一个 dashboard,用户可以直接在浏览器上观察 Codis 集群的状态。
codis-server: 是 Codis 项目维护的一个 Redis 分支,基于 2.8.13 开发,加入了 slot 的支持和原子的数据迁移指令,Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行。
ZooKeeper: 用来存放数据路由表和 codis-proxy 节点的元信息,codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy
注:Codis 支持按照 Namespace 区分不同的产品,拥有不同的 product name 的产品,各项配置都不会冲突。
主机名 | IP 地址 | 角色 |
---|---|---|
linux-node1 | 10.1.1.148 | Zookeeper、redis_master,redis_slave |
linux-node2 | 10.1.1.149 | Zookeeper、redis_master,redis_slave |
linux-node3 | 10.1.1.150 | zookeeper,codis-proxy、redis_master,redis_slave |
注:生产环境建议 redis 放到单独的服务器上面
注:部署单个 codis-proxy 节点的环境,建议相关的安装包本地下载完上传到服务器上面。
# 在 codis-proxy(linux-node3)服务器上面操作
yum install -y git gcc make
g++ gcc-c++ automake
openssl-devel zlib-devel
Go 下载地址:http://www.golangtc.com/download
cd /usr/local/src/
tar zxvf go1.7.linux-amd64.tar.gz -C /opt
注意:Zookeeper 已搭建完成的下面安装 JDK 和 zookeeper 的步骤可以跳过。
JDK 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
rpm -ivh jdk-8u65-linux-x64.rpm
Zookeeper 下载地址:http://zookeeper.apache.org/releases.html#download
wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz
tar zxvf zookeeper-3.4.8.tar.gz -C /opt/
修改环境变量:vim /etc/profile 在最后添加以下内容
#codis path
export GOROOT=/opt/go
export GOPATH=/opt/codis
JAVA_HOME=/usr/java/jdk1.8.0_101
CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$GOROOT/bin:$JAVA_HOME/bin:
# 测试环境变量设置
# 执行 source /etc/profile 是环境变量生效,测试 go 是否正常安装:
cat hello.go
package main
import "fmt"
func main(){fmt.Printf("hello,world\n")
}
[root@linux-node-2 ~]# go run hello.go
hello,world!
[root@linux-node-3 ~]# yum -y install git
[root@linux-node-3 opt]# go get -u -d github.com/CodisLabs/codis
可以看到 no buildable Go source files in /opt/codis/src/github.com/wandoulabs/codis,我们在上面环境就是设置 GOAPTH=/opt/codis,所以只要执行上面的获取命令,就会下载在 /opt/codis 下:
我们进到提示的路径进行安装,安装过程比较久,耐心等待:
[root@linux-node-3 ~]# cd /opt/codis/src/github.com/CodisLabs/codis
目录执行 make
命令编译代码,并执行make
gotest 来跑测试
make
make
gotest
建议只通过 go get 命令来下载 codis,除非你非常熟悉 go 语言的目录引用形式从而不会导致代码放错地方。该命令会下载 master 分支的最新版,我们会确保 master 分支的稳定。
执行全部指令后,会在 bin 文件夹内生成 codis-config、codis-proxy、codis-server 三个可执行文件。另外, bin/assets 文件夹是 codis-config 的 dashboard http 服务需要的前端资源, 需要和 codis-config 放置在同一文件夹下)
git clone https://github.com/CodisLabs/codis.git
git 仓库下载完毕后,我们接下来进行如下的操作。如下:
mkdir -p /opt/codis /src/github.com/CodisLabs/
cp -r codis /opt/codis/src/github.com/CodisLabs/
cd /opt/codis/src/github.com/CodisLabs/codis/
# 以上操作完毕后,就和通过 go 下载安装方式一样, 执行 make
命令进行编译,然后执行make
gotest 命令进行测试
wget https://github.com/CodisLabs/codis/archive/3.0.3.tar.gz -P /usr/local/src tar zxvf 3.0.3.tar.gz && cd codis-3.0.3 &&make
&&make
gotest
#codis 安装完成之后 codis-config 主要的使用方法
# ./bin/codis-config -h (master)
usage: codis-config [-c] [-L] [--log-level=]
[...]
options:
-c 配置文件地址
-L 日志输出文件地址
--log-level= 输出日志级别 (debug < info (default) < warn < error < fatal)
commands:
server redis 服务器组管理
slot slot 管理
dashboard 启动 dashboard 服务
action 事件管理 (目前只有删除历史事件的日志)
proxy proxy 管理
# ./bin/codis-proxy -h
usage: codis-proxy [-c] [-L] [--log-level=] [--cpu=] [--addr=] [--http-addr=]
options:
-c 配置文件地址
-L 日志输出文件地址
--log-level= 输出日志级别 (debug < info (default) < warn < error < fatal)
--cpu= proxy 占用的 cpu 核数, 默认 1, 最好设置为机器的物理 cpu 数的一半到 2 / 3 左右
--addr= proxy 的 redis server 监听的地址, 格式 :, 如: localhost:9000, :9001
--http-addr= proxy 的调试信息启动的 http server, 可以访问 http://debug_http_server_addr/debug/vars
codis 安装完毕后,我们现在来配置 codis 集群,在正式配置集群之前,先创建相关的目录,然后复制相关文件到新的目录下。
使用如下命令:
cd /opt/codis/src/github.com/CodisLabs/codis/
mkdir -p /opt/codis/{log,redis_conf}
cp -rf bin/ /opt/codis/
cp config.ini /opt/codis/
cp extern/redis-test/conf/6379.conf /opt/codis/redis_conf/
cp extern/redis-test/conf/6380.conf /opt/codis/redis_conf/
[root@linux-node3 codis]# egrep -v "^#|^$" config.ini
coordinator=zookeeper
zk=192.168.1.148:2181,192.168.1.149:2181,192.168.1.150:2181
product=test
dashboard_addr=192.168.1.150:18087
password=
backend_ping_period=5
session_max_timeout=1800
session_max_bufsize=131072
session_max_pipeline=1024
zk_session_timeout=30000
proxy_id=proxy_3
该配置文件中,我们需要注意三个参数:zk、dashboard_addr、proxy_id。
其中 zk 是表示 zookeeper 集群的服务器 IP 地址,dashboard_addr 表示 codis web 管理的 IP 地址及端口,proxy_id 表示 codis 的 id,注意每台 codis 服务器该值要唯一。
每台 codis 服务器上,启动两个 redis 实例(也可以启动多个 redis 实例),配置两个 redis,如下:
daemonize no
pidfile /var/run/redis.pid
port 6379
tcp-backlog 511
timeout 0
tcp-keepalive 0
loglevel notice
logfile /var/log/redis/6379.log
databases 16
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump6379.rdb
dir /opt/codis/
slave-serve-stale-data yes
slave-read-only yes
repl-disable-tcp-nodelay no
slave-priority 100
appendonly no
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
# 注意红线标注的一个参数,配置第二个 redis 实例
\cp /opt/codis/redis_conf/6379.conf 6380.conf
sed -i 's/6379/6380/g' /opt/codis/redis_conf/6380.conf
mkdir -p /var/log/redis/
# 上面操作需要在每台 codis 服务上面都执行。
echo 512 > /proc/sys/net/core/somaxconn
sysctl vm.overcommit_memory=1
注:优化系统的参数
执行 bin/codis-config slot init,该命令会在 zookeeper 上创建 slot 相关信息
/opt/codis/bin/codis-config -c /opt/codis/config.ini slot init
#linux-node3、linux-node1、linux-node2
/opt/codis/bin/codis-server /opt/codis/redis_conf/6379.conf &
/opt/codis/bin/codis-server /opt/codis/redis_conf/6380.conf &
ps -ef | grep codis-server
# 在三台 codis-proxy 上面分别启动 redis 实例
# 尽量在 redis 安装目录或者让 redi 的 log 目录下启动 dashboard,这样方便查看启动产生的日志,nohup.out
nohup /opt/codis/bin/codis-config -c /opt/codis/config.ini dashboard &
# 从图中可以看出 dashboard 已经启动完成,然后去 web 页面访问,codis dashboard 访问端口是 18087
# 查看 codis dashboard,浏览器访问 http://192.168.1.150:18087/,如下:
#codis dashboard 启动完成之后默认页面如上图所示,我们可以通过 web 页面新建 redis_group,把刚刚启动好的 redis 实例加到不同的组当中、也可以通过命令行执行创建 redis_group 的操作。
# 每一个 Server Group 作为一个 Redis 服务器组存在, 只允许有一个 master, 可以有多个 slave, group id 仅支持大于等于 1 的整数
# 在 codis dashboard 上使用命令新建 server group
[root@linux-node3 ~]# cd /opt/codis/
[root@linux-node3 codis]# ./bin/codis-config server -h
usage:
codis-config server list
codis-config server add
codis-config server remove
codis-config server promote
codis-config server add-group
codis-config server remove-group
# 如: 添加三个 server group, 每个 group 有两个 redis 实例,group 的 id 分别为 1 和 2,redis 实例为一主一从。
# 注:这里我把 linux-node3,linux-node2,linux-node1 上面的两个 redis 实例分别加到不同的 server group 当中,详细如下:
group_1: linux-node3 redis_6379 linux-node2 redis_6380
group_2: linux-node2 redis_6379 linux-node1 redis_6380
group_3: linux-node1 redis_5379 linux-node3 redis_6380
其中 redis 的 6379 端口作为 redis master,6380 作为 slave
# 添加一个 group,group 的 id 为 1,并添加一个 redis master(192.168.1.150:6379)到该 group
./bin/codis-config server add 1 192.168.1.150:6379 master
# 添加一个 redis slave(192.168.1.149:6380)到该 group
./bin/codis-config server add 1 192.168.1.149:6380 slave
# 添加一个 group,group 的 id 为 2,并添加一个 redis master(192.168.1.149:6379)到该 group
./bin/codis-config server add 2 192.168.1.149:6379 master
# 添加一个 redis slave(192.168.1.148:6380)到该 group
./bin/codis-config server add 2 192.168.1.148:6380 slave
# 添加一个 group,group 的 id 为 3,并添加一个 redis master(192.168.1.148:6379)到该 group
./bin/codis-config server add 3 192.168.1.148:6379 master
# 添加一个 redis slave(192.168.1.150:6380)到该 group
./bin/codis-config server add 3 192.168.1.150:6380 slave
注意:每组添加的第一个 redis 实例不能被删除,因为 codis 默认把该 redis 实例设置为 master。
# 从图中我们可以看出 server group 已经创建成功,到 codis dashboard 上面查看:
https://github.com/CodisLabs/codis/blob/master/doc/FAQ_zh.md
Codis 采用 Pre-sharding 的技术来实现数据的分片, 默认分成 1024 个 slots (0-1023), 对于每个 key 来说, 通过以下公式确定所属的 Slot Id : SlotId = crc32(key) % 1024 每一个 slot 都会有一个且必须有一个特定的 server group id 来表示这个 slot 的数据由哪个 server group 来提供.
[root@linux-node3 codis]# ./bin/codis-config slot -h
usage:
codis-config slot init [-f]
codis-config slot info
codis-config slot set
codis-config slot range-set
codis-config slot migrate [--delay=]
codis-config slot rebalance [--delay=]
# 设置编号为 [0, 340] 的 slot 由 server group 1 提供服务, 编号 [341, 682] 的 slot 由 server group 2 提供服务,编号[683, 1023] 的 slot 由 server group 3 提供服务
./bin/codis-config slot range-set 0 340 1 online
./bin/codis-config slot range-set 341 682 2 online
./bin/codis-config slot range-set 683 1023 3 online
/opt/codis/bin/codis-config -c /opt/codis/config.ini slot info 1
/opt/codis/bin/codis-config -c /opt/codis/config.ini slot info 2
/opt/codis/bin/codis-config -c /opt/codis/config.ini slot info 3
#slot 操作完成可以到 codis dashboard 查看状态。如下:
./bin/codis-proxy -c config.ini -L ./log/proxy.log --cpu=1 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000
nohup /opt/codis/bin/codis-proxy -c /opt/codis/config.ini –log-level=error -L /opt/codis/log/proxy.log –cpu=1 –addr=0.0.0.0:19000 –http-addr=0.0.0.0:11000 &
# 下面对以上命令中的参数进行解释:
-c 配置文件地址。-L 日志输出文件地址。–log-level= 输出日志级别(debug –cpu= proxy 占用的 cpu 核数, 默认 1, 最好设置为机器的物理 cpu 数的一半到 2 / 3 左右。–addr= proxy 的 redis server 监听的地址, 格式:, 如: localhost:9000, :9001。–http-addr= proxy 的调试信息启动的 http server, 可以访问 http://debug_http_server_addr/debug/vars。
#codis-proxy 启动后,我们可以在 dashboard 上进行查看,如下:
# 到此 codis 集群搭建完毕,为了性能需求,建议 redis 实例和 codis-proxy 放到不同的服务器上面。
codis 集群搭建完毕后,测试连接 codis 集群。要连接 codis 集群,我们只需要连接 codis-proxy 即可。codis-proxy 服务器地址:192.168.1.150,然后加 19000 端口。使用 redis-cli 命令连接,如下:
# 在某台已安装 redis 实例的服务器上面测试:
通过上图,我们可以很明显的看到连接 codis 集群是 ok 的。
我们现在对 codis 集群做一些压力测试,同时在 dashboard 上观察键值对的情况。如下:
./redis-benchmark -h 192.168.1.150 -p 19000 -c 1000 -d 1000 -t set -n 100000 -r 100000
上述命令的意思是,使用 redis-benchmark 压力测试命令连接 codis 集群,同时并发 10000 个(-c),测试 set 操作(-t),每个测试数据集是 100 字节(-d), 请求数是 100000(-n),使用使用随机数插入数值(-r)
安全和透明的数据迁移是 Codis 提供的一个重要的功能, 也是 Codis 区别于 Twemproxy 等静态的分布式 Redis 解决方案的地方
数据迁移的最小单位是 key, 我们在 codis redis 中添加了一些指令, 实现基于 key 的迁移, 如 SLOTSMGRT 等 (命令列表), 每次会将特定 slot 一个随机的 key 发送给另外一个 codis redis 实例, 这个命令会确认对方已经接收, 同时删除本地的这个 k-v 键值, 返回这个 slot 的剩余 key 的数量, 整个操作是原子的.
在 codis-config 管理工具中, 每次迁移任务的最小单位是 slot
如: 将 slot id 为 [0-340] 的 slot 的数据, 迁移到 server group 2 上, –delay 参数表示每迁移一个 key 后 sleep 的毫秒数, 默认是 0, 用于限速.
#codis dashboard 上面查看每个组中的数据状态,
# 可以看出刚刚我们做过压测之后,每个 redis 组处理的 key 基本一致,然后我们把 group_1 中 slot 上的数据迁移到 group_2 上,–delay 参数表示每迁移一个 key 后 sleep 的毫秒数, 默认是 0, 用于限速.
$ bin/codis-config slot migrate 0 511 2 --delay=10
/opt/codis/bin/codis-config -c /opt/codis/config.ini slot migrate 0 340 2 --delay=10
# 查看 codis dashboard 上,group 状态:
# 再次刷新,3s 后
# 对比 group 中两次的 key 变化,我们可以看出 group_1 中的 slot 数据正在向 group_2 迁移。
迁移的过程对于上层业务来说是安全且透明的, 数据不会丢失, 上层不会中止服务.
注意, 迁移的过程中打断是可以的, 但是如果中断了一个正在迁移某个 slot 的任务, 下次需要先迁移掉正处于迁移状态的 slot, 否则无法继续 (即迁移程序会检查同一时刻只能有一个 slot 处于迁移状态).
Codis 支持动态的根据实例内存, 自动对 slot 进行迁移, 以均衡数据分布.
$ bin/codis-config slot rebalance
要求:
所有的 codis-server 都必须设置了 maxmemory 参数
所有的 slots 都应该处于 online 状态, 即没有迁移任务正在执行
所有 server group 都必须有 Master
Server group 实现主从切换,当同一个组中的某一台 redis 实例停止的时候, 组中的其它 redis 实例自动切换为 master 角色,提供服务。
需要安装 codis-ha 插件,codis-ha 可以安装在任意节点即可,只需要在一个节点上面安装。(本实验安装在 linux-node2 上)
go get github.com/ngaut/codis-ha
[root@linux-node2 ~]# cd /opt/codis/src/github.com/ngaut/
[root@linux-node2 ngaut]# cp -r codis-ha /opt/
[root@linux-node2 ngaut]# cd /opt/codis-ha/
[root@linux-node2 codis-ha]# go build
nohup $codis_ha_home/codis-ha -codis-config=192.168.1.150:18087 -log-level=info -productName=test &> /opt/codis-ha/codis-ha.log
注:-codis-config 后跟 dashboard 所在服务器 ip
重新启动 codis-proxy 服务
注:(以 150 机器配置为例,其余 codis-proxy 只需要修改下名称即可)
先停掉 codis-proxy
[root@linux-node3 ~]# /opt/codis/bin/codis-config -c /opt/codis/config.ini proxy offline codis_proxy_3
# 不同的机器只需要更改 codis_proxy 即可(本实验之重启了一台 codis-proxy,且 codis-ha 服务已生效)
重新启动 codis-proxy
nohup /opt/codis/bin/codis-proxy -c /opt/codis/config.ini --log-level=error -L /opt/codis/log/proxy.log --cpu=1 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 &
设置 codis-proxy 状态为 online
[root@linux-node3 ~]# /opt/codis/bin/codis-config -c /opt/codis/config.ini proxy online codis_proxy_3
注:如果重启一台 codis-proxy 之后 codis-ha 服务没生效,需要重启三台 codis-proxy
停止任意节点的 zookeeper,检查 codis-proxy,dashboard 是否正常 >
以 zookeeper 状态为 leader 那台服务器测试(linux-node2)
查看 zookeeper 状态确认是否为 leader
[root@linux-node2 ~]# /opt/zookeeper/bin/zkServer.sh status
停止 linux-node2 上面的 zookeeper 节点,让其他 zookeeper 节点自动选择 leader 节点并提供服务
[root@linux-node2 ~]# /opt/zookeeper/bin/zkServer.sh stop
# 随机检测其他节点的 zookeeper 状态,检测到 linux-node2 的 zookeeper 节点已经被选为 leader,开始提供服务
# 重启刷新 codis dashboard 可以看到 dashboard 是正常的。
检测 redis 客户端是否能正常访问 codis-proxy
以 linux-node3 为例:
[root@linux-node3 ~]# cd /opt/codis/src/github.com/CodisLabs/codis/extern/redis-2.8.21/src/
# 新建 scripts 目录,存放 redis 常用命令
[root@linux-node3 src]# mkdir -p /opt/codis/scripts/
[root@linux-node3 src]# cp redis-cli redis-server redis-benchmark redis-check-dump /opt/codis/scripts/
从上面可以看出我之前 set 的两个 key 都能正常 get 到
停止任意 group 中的 redis master 实例,检查 redis slave 是否自动切换为 master 模拟 linux-node1(192.168.1.148)上面的 redis-master 6379 端口挂掉
登录到 codis-ha 所在的节点(linux-node2)查看 codis-ha 日志,打印如下
打开 dashboard 界面,可以看到如下:
从图中可以看到 group_3 的 salve 节点已经自动切换到 master 状态
客户端写入数据,检查切换后的 redis master 实例是否有新 key 增加
#linux-nod3 新增 key
重新刷新 dashboard 界面,查看 key 变化
# 恢复 linux-node1 上的 redis 实例的 6379 端口
[root@linux-node1 ~]# /opt/codis/bin/codis-server /opt/codis/redis_conf/6379.conf &
[root@linux-node1 ~]# ps -ef | grep -v grep | grep codis-server
root 16620 13759 0 Aug27 pts/0 00:04:52 /opt/codis/bin/codis-server *:6380
root 27574 13759 2 19:40 pts/0 00:00:00 /opt/codis/bin/codis-server *:6379
刷新 dashboard 界面查看 group 中 redis 实例状态变化
可以看到 linux-node1 上面的端口为 6379 的 redis 实例已经启动并自动成为 group_3 中的 slave
备注:假如当 maste 挂掉是,redis-ha 检测自动将 slave 切换为 master,但是 master 恢复后,如果状态仍为 offline,可以把这个 redis 节点从 group 中移出,再重新添加。
/opt /bin/zkCli.sh
delete /zk/codis/db_test/dashboard
# 重启 codis dashboard
nohup /usr/local/codis/bin/codis-config -c /usr/local/codis/config.ini dashbo
ard &
![post-qrcode](https://www.xgss.net/wp-content/uploads/2023/07/二维码-微信公众号256x256.jpg)