阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CDH5.9.0集群部署与搭建

178次阅读
没有评论

共计 5510 个字符,预计需要花费 14 分钟才能阅读完成。

最近新购了一台工作站,急切的想试一下手,就搭建个 CDH 集群吧,练练手,顺便了解一下最新版的 CDH 长成什么样子了……
工作站的配置:Thinkpad P50,Intel(R)Xeon E3 1505M v5@2.80GHz 2.81GHz ; 内存 48G; 显卡 4G……

1 下载 CDH 各种 RPM 包

1.1 下载 cloudera-manager-installer.bin

  • 这个地址可以选择最新的 CM 的安装文件进行下载,此处,我选择的是 5.9.0 版本

http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

http://archive.cloudera.com/cm5/installer/5.9.0/cloudera-manager-installer.bin(我选择下载的版本)
CDH5.9.0 集群部署与搭建

1.2 下载对应平台 / 架构的 RPMS

对应我的平台的 RPMS 包下载地址如下:

http://archive.cloudera.com/cm5/RedHat/6/x86_64/cm/5.9.0/RPMS/x86_64/
CDH5.9.0 集群部署与搭建

2 设置 IP 地址(所有节点)

2.1 设置 IP 地址和网关

Master:IP 192.168.1.100    网关 192.168.1.254
Worker1:IP 192.168.1.101    网关 192.168.1.254
Worker2:IP 192.168.1.102    网关 192.168.1.254
Worker3:IP 192.168.1.103    网关 192.168.1.254
Worker4:IP 192.168.1.104    网关 192.168.1.254

2.2 设置主机名

修改系统的网络配置文件

vim /etc/sysconfig/network

例如:修改 HOSTNAME=Master
CDH5.9.0 集群部署与搭建
各个节点的主机名配置如下

192.168.1.100 主机名: Master
192.168.1.101 主机名: Worker1
192.168.1.102 主机名: Worker2
192.168.1.103 主机名: Worker3
192.168.1.104 主机名: Worker4

(注:此处集群的各个节点的主机名字就是用安装系统时的设置的主机名,所以我就不用修改了)

3 设置 hosts 文件(所有节点)

绑定 IP 地址与 HostName

vim /etc/hosts
192.168.1.100   Master
192.168.1.101   Worker1
192.168.1.102   Worker2
192.168.1.103   Worker3
192.168.1.104   Worker4

CDH5.9.0 集群部署与搭建

4 关闭防火墙(所有节点)

4.1 检查防火墙状态

service iptables status

4.2 关闭防火墙

chkconfig iptables off        // 永远关闭 - 重启后生效
service iptables off      // 临时关闭 - 不用重启

系统重启后,查看防火墙状态如下
CDH5.9.0 集群部署与搭建

5 关闭 SELinux(所有节点)

使用 getenforce 查看是否关闭:
CDH5.9.0 集群部署与搭建
显示的是在强制执行,接下来我们需要关掉它
修改 /etc/selinux/config 文件,将 SELINUX=enforcing 改为 SELINUX=disabled,修改完成后重启机器生效。
CDH5.9.0 集群部署与搭建
(将 SELINUX=enforcing 改为 disabled)
CDH5.9.0 集群部署与搭建

reboot -h now

重启之后,查看是否生效
CDH5.9.0 集群部署与搭建
已经生效,注意每个节点都要关闭 SElinux 哟

6 配置 SSH(可选)

6.1 修改 sshd 配置文件

vim /etc/ssh/sshd_config

CDH5.9.0 集群部署与搭建
去掉注释,放开这几个配置项
CDH5.9.0 集群部署与搭建
重启 sshd 服务

service sshd restart

CDH5.9.0 集群部署与搭建

6.2 生成私钥和公钥(所有节点)

ssh-keygen -t rsa

Master:
CDH5.9.0 集群部署与搭建
Worker1:
CDH5.9.0 集群部署与搭建
Worker2:
CDH5.9.0 集群部署与搭建
Worker3:
CDH5.9.0 集群部署与搭建
Worker4:
CDH5.9.0 集群部署与搭建

6.3 重命名节点的公钥(所有节点)

cp id_rsa.pub authorized_keys_Master

CDH5.9.0 集群部署与搭建

cp id_rsa.pub authorized_keys_Worker1

CDH5.9.0 集群部署与搭建

cp id_rsa.pub authorized_keys_Worker2

CDH5.9.0 集群部署与搭建

cp id_rsa.pub authorized_keys_Worker3

CDH5.9.0 集群部署与搭建

cp id_rsa.pub authorized_keys_Worker4

CDH5.9.0 集群部署与搭建

6.4 把从节点(Worker)的公钥拷贝到主节点(Master)的.ssh 目录下

scp authorized_keys_Worker1 hjr@Master:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys_Worker2 hjr@Master:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys_Worker3 hjr@Master:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys_Worker4 hjr@Master:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

最后在 Master 的.ssh 目录下面查看以下:
CDH5.9.0 集群部署与搭建

6.5 将所有节点的公钥信息保存到主节点下的 authorized_keys(新生成的)文件中

cat authorized_keys_Master >> authorized_keys
cat authorized_keys_Worker1 >> authorized_keys
cat authorized_keys_Worker2 >> authorized_keys
cat authorized_keys_Worker3 >> authorized_keys
cat authorized_keys_Worker4 >> authorized_keys

CDH5.9.0 集群部署与搭建
查看一下 authorized_keys 文件内容:
CDH5.9.0 集群部署与搭建

6.6 把 authorized_keys 文件拷贝到从节点上去

scp authorized_keys hjr@Worker1:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys hjr@Worker2:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys hjr@Worker3:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

scp authorized_keys hjr@Worker4:/home/hjr/.ssh

CDH5.9.0 集群部署与搭建

6.7 设置.SSH 目录权限

设置 .ssh 目录权限:chmod 700 -R .ssh

6.8 测试 SSH

CDH5.9.0 集群部署与搭建
(这样 Master 和各个 Worker 之间就能够相互通信了—Master 可以通过 ssh 连接到 Worker1,Worker2,Worker3,Worker4; Worker1,Worker2,Worker3,Worker4 可以通过 ssh 连接到 Master)

7 MySQL 5.6.4 安装(可选)

7.1 检查 MySQL 及相关 RPM 包,是否安装,如果有安装,则移除

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

7.2 下载 MySQL 包:MySQL-5.6.34-1.linux_glibc2.5.x86_64.rpm-bundle.tar

CDH5.9.0 集群部署与搭建

7.3 解压

CDH5.9.0 集群部署与搭建

7.4 安装 MySQL5.6

rpm -ivh MySQL-server-5.6.34-1.linux_glibc2.5.x86_64.rpm 

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

rpm -ivh MySQL-devel-5.6.34-1.linux_glibc2.5.x86_64.rpm

CDH5.9.0 集群部署与搭建

rpm -ivh MySQL-client-5.6.34-1.linux_glibc2.5.x86_64.rpm

CDH5.9.0 集群部署与搭建

修改配置文件位置

cp /usr/share/mysql/my-default.cnf /etc/my.cnf

CDH5.9.0 集群部署与搭建

7.5 初始化 MySQL 及设置密码

/usr/bin/mysql_install_db

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

service mysql start

CDH5.9.0 集群部署与搭建

cat /root/.mysql_secret  # 查看 root 账号密码

CDH5.9.0 集群部署与搭建

mysql -uroot -pawSDoqAX24LERoPA

CDH5.9.0 集群部署与搭建

SET PASSWORD = PASSWORD('124077');    #设置密码为 124077

CDH5.9.0 集群部署与搭建

7.6 允许远程登陆

use mysql;
select host,user,password from user;

CDH5.9.0 集群部署与搭建

update user set password=password('124077') where user='root';
update user set host='%' where user='root' and host='localhost';
flush privileges;
exit

CDH5.9.0 集群部署与搭建

7.7 设置开机自启动

chkconfig mysql on
chkconfig --list | grep mysql

CDH5.9.0 集群部署与搭建

7.8 MySQL 的默认安装位置(*)

/var/lib/mysql/               # 数据库目录
/usr/share/mysql              # 配置文件目录
/usr/bin                      # 相关命令目录
/etc/init.d/mysql             # 启动脚本

7.9 修改字符集和数据存储路径

配置 /etc/my.cnf文件, 修改数据存放路径、mysql.sock路径以及默认编码 utf-8.

CDH5.9.0 集群部署与搭建

查看字符集

show variables like '%collation%';

show variables like '%char%';

CDH5.9.0 集群部署与搭建

7 卸载 CentOS 自带的 JDK (所有节点)

7.1 查看系统自带 java 版本

java –version

7.2 查看 OpenJDK 相关包

rpm –qa | grep java

7.3 移除 OpenJDK 相关包

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
rpm -e --nodeps tzdata-java-2013g-1.el6.noarch

Master 节点操作如下:
CDH5.9.0 集群部署与搭建

8 执行 cloudera-manager-installer.bin

8.1 安装 Oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm 包

rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm 

8.2 安装 cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm 包

rpm -ivh cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

CDH5.9.0 集群部署与搭建

8.3 安装 cloudera-manager-server-5.9.0-1.cm590.p0.249.el6.x86_64.rpm 包

rpm -ivh cloudera-manager-server-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

CDH5.9.0 集群部署与搭建

8.4 安装 cloudera-manager-server-db-2-5.9.0-1.cm590.p0.249.el6.x86_64.rpm 包

rpm -ivh cloudera-manager-server-db-2-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

CDH5.9.0 集群部署与搭建

8.5 各个节点安装 cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

rpm -ivh cloudera-manager-daemons-5.9.0-1.cm590.p0.249.el6.x86_64.rpm
rpm -ivh cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm

这边会有几个依赖找不到,需要联网,通过 yum 下载安装:

warning: cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY
error: Failed dependencies:
    mod_ssl is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64
    openssl-devel is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64
    python-psycopg2 is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64
    MySQL-python is needed by cloudera-manager-agent-5.9.0-1.cm590.p0.249.el6.x86_64

依次安装如下:

yum install MySQL-python

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

yum install python-psycopg2

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

yum install openssl-devel

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

yum install mod_ssl

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建
这里需要网络哟
CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

9 Cloudera-Manager 服务配置

浏览器运行 192.168.1.100:7180 打开 CM 的 web 界面如下,默认的用户名和密码都是 admin

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建
CDH5.9.0 集群部署与搭建

10 完成安装

集群正常运行界面
CDH5.9.0 集群部署与搭建

几个主要服务如下:
CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

CDH5.9.0 集群部署与搭建

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-01/139615.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计5510字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中