阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置

235次阅读
没有评论

共计 2517 个字符,预计需要花费 7 分钟才能阅读完成。

系统环境

9 台 DELL R720xd 服务器(192.168.3.245-253),1 台 R410master 节点(192.168.3.243)
网卡:1000M
9 台 DELL R720xd 服务器各有 12*4T 磁盘。
网络环境内网
CentOS6.6 x64 (Final)
 

1、准备工作卸载系统自带 OPEN-JDK(所有节点)
安装好的 Centos 系统有时会自动安装 OpenJdk,用命令 Java -version 查看:

java version “1.6.0”

OpenJDK Runtime Environment (build 1.6.0-b09)

OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixed mode)

如有上述显示,说明系统里已经有 OpenJdk,执行以下命令查看系统中有哪些 OpenJdk 相关包:

rpm -qa | grep java

其中有如下包必须卸载,

rpm -e –nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

rpm -e –nodeps java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64

这里我们初始环境已经是卸载了 OpenJDK,安装了 1.7 版本的 JDK

查看:

java -version

javac -version

 

2、修改主机名(所以节点)
我们初始环境已经将 host 文件配置好了,所有节点都要同步 host 文件,这步省略

 

3、打通 SSH(所有节点)
目的是从 master 节点到所有的节点不需要输入密码即可登录

4、关闭防火墙(所有节点)
防火墙会引起 Hadoop 相关组件通讯的各种异常。

防火墙:
service iptables stop (临时关闭)

chkconfig iptables off (重启后生效)

SELINUX:
setenforce 0 (临时生效)

修改 /etc/selinux/config 下的 SELINUX=disabled(重启后生效)。

 

5、安装 NTP 服务
启动 NTP 服务,开机自启动

service ntpd start

chkconfig ntpd on

6、安装 Cloudera Manager
1. 创建一个本地目录,如 /data/var/cloudera_manager,下载相应的 rpm 包到本地,选择 CM5.3.2,rpm 包地址
http://archive.cloudera.com/cm5/RedHat/6/x86_64/cm/5.3.2/RPMS/x86_64/

下载全部的 rpm 包

2. 安装 createrepo,创建 yum 源

1) yum -y install createrepo

2)进入到第一步下载的 rpm 包目录 /data/var/cloudera_manager 下运行 createrepo .(注意有一个点号)

3. 安装 httpd,提供 http 服务

yum -y install httpd

4. 在 /etc/www/http 目录下建立一个软链接到 /data/var/cloudera_manager

ln -s /data/var/cloudera_manager cloudera_manager
5. 启动 httpd 服务

/etc/init.d/httpd start, 之后可以通过浏览器查看是否能够访问 http://192.168.3.243/cloudera_manager

6. 在 /etc/yum.repo.d 下增加 cloudera-manager.repo 文件,内容如下

[cloudera-manager]

name=Cloudera Manager

baseurl=http://192.168.3.243/cloudera_manager

gpgcheck=0

7. 运行 cloudera-manager-installer.bin, 并在后边增加参数使其不再在 /etc/yum.repo.d/ 下生成 cloudera-manager.repo 文件

./cloudera-manager-installer.bin –skip_repo_package=1

至此,按提示页面进行对应选择即可成功在内网服务器上安装 ClouderaManager

安装好后,会提示一个 URL,通过浏览器地址即可访问,用户密码都是 admin

7、安装 CDH5.3.2
下载 http://archive.cloudera.com/cdh5/parcels/5.3.2/, 选择相应的版本,我们是 centos6.6,下载圈住的即可,放在 /data/var/cloudera_manager 目录下面

Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置

在安装 cloudera_manager 时候,需要配置选择 yum 源,需要改为自定义,地址填上边的 baseurl:http://192.168.3.243/cloudera_manager,这样 cm 就会在添加的服务器上放置的 yum.repo 中的地址就是你内网服务器可访问的 yum 源,后续安装就不会有问题了。

Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置

Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置

 

Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置

如果在安装时选择了安装 Hive,可能会遇到安装失败的问题,查看一下日志发现时安装 Hive 时需要安装 JDBC 驱动,所以同样我们将 Mysql 的驱动包拷贝到 /opt/cloudera/parcels/CDH-5.3.2-1.cdh5.3.2.p0.47/lib/hive/lib/ 目录下,之后再继续安装就不会遇到问题了。

CentOS 6.5 下 Cloudera Manager5.3.2 的安装  http://www.linuxidc.com/Linux/2015-04/116180.htm

Cloudera Manager 和 CDH 4 终极安装  http://www.linuxidc.com/Linux/2014-03/98842.htm

通过 Cloudera Manager 来安装 Hadoop  http://www.linuxidc.com/Linux/2013-12/94180.htm

本文永久更新链接地址:http://www.linuxidc.com/Linux/2015-04/116192.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2517字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中