CDH升级详解

260次阅读

没有评论

共计 2336 个字符，预计需要花费 6 分钟才能阅读完成。

升级主要分为两部分 1.CM 的升级、2.CDH 的升级

CM 的升级

两种升级方法

1. 使用 package
2. 使用 Tarballs 升级方法，参照官方升级指引，Tarball 中包含了 Cloudera Manager Server 和Cloudera Manager Agent
通常情况下升级 CM 和升级 CDH 是两个独立的过程，可以在不关闭 CDH 服务的情况下升级 CM，然后再升级 CDH，升级 CM 主要分为以下几个步骤

1. 收集升级信息

在升级之前收集与 CM 相关的信息，包括账户、密码、数据库 URLs 等。
1. 有 root 用户权限或者起码有 sudo 权限
2. 查看 CM、JDK 的版本
3.CDH 的版本
进入 CM 主页面
4. 所安装的服务
5. 查看系统版本
hosts->All Hosts 随便点击一个主机

2. 完成升级前的准备

1. 本次要升级到的版本为 5.13.X，支持的 OS 版本
2. 查看用户自定义的服务
Administration->setting->Custom Service Descriptors

3. 升级 JDK

升级 JDK 到 1.8.
在页面设置 Java 的目录: 主机(Hosts)-> 所有主机(All Hosts)-> 配置(Configuration)-> 类别(CATEGORY)-> 高级(Advanced)。这样做仅仅修改了 CM 和 CDH 依赖的 JDK，并不会影响要其他的进程

4. 升级 CM
1. 停止 CM server、DB 和 agent
- a. 关闭 CM 服务 Cluster->Cloudera Managent service->Action->Stop，
- b. 在 server 上面运行sudo service cloudera-scm-server stop
- c. 在 agent 上面运行sudo service cloudera-scm-agent stop
2. 下载 CM 文件网址,5.13x 的 tarballs 链接。rpm 安装包路径

方法一 4.1 package 升级 CM

1. 确保所有主机上进程服务都关闭

sudo service cloudera-scm-agent status # 查看状态
sudo service cloudera-scm-server-db stop # 关闭内嵌数据库，如果没有这个服务可跳过
sudo service cloudera-scm-server stop  # 关闭 server
sudo service cloudera-scm-agent stop  # 关闭 agent

2. 备份 CM 数据库
在 CM 的 server 机器上 /etc/cloudera-scm-server 文件

[Hadoop@175-45-5-195 cloudera-scm-server]$ sudo cat db.properties
# Auto-generated by initialize_embedded_db.sh
com.cloudera.cmf.db.type=postgresql
com.cloudera.cmf.db.host=localhost:7432
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=3Emd1VtlcK

根据上面的内容备份 postgresql 数据库

pg_dump -hlocalhost -p 7432 -U scm > /tmp/scm_server_db_backup.$(date +%Y%m%d)

如果使用 rpm 安装，需要配置 /etc/yum.repos.d/cloudera-manager.repo 的源

sudo yum clean all
sudo yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-server-db-2  cloudera-manager-agent

上面是自动下载组件，CM 的安装包比较的大不到 1G，如果网速不够好可以下载到本地

sudo  yum localinstall cloudera-manager-*

在 Agent 上面安装成功之后, 在 /etc/cloudera-scm-agent 下面生成了、config.ini.rpmnew文件，这个是一些比较新的配置，你需要将原来 config.ini 文件中的一些用户配置添加到 config.ini.rpmnew 中，并将其修改为 config.ini，删掉老的 config.ini 文件。
需要在 server 和 agent 上面开启相关服务

sudo service cloudera-scm-server-db start
sudo service cloudera-scm-server start
sudo service cloudera-scm-agent start

方法二 4.2 tarball 升级 CM

1. 解压 Tarball 包
解压文件到 /opt/ 目录
sudo tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2. 默认情况下 tarball 安装方式会有一个 var 子目录用来存储状态文件，非 tarball 安装方式的状态存储在 /var 目录下，CM 建议使用 /var 或者 tarball 外部的目录，这样在升级的过程中新的 tarball 就可以访问这些状态文件，那么该如何设置这个目录呢？修改 \cm-5.13.0\etc\default\ 下面 cloudera-scm-agent 文件，设置 CMF_VAR 的值。