共计 2954 个字符,预计需要花费 8 分钟才能阅读完成。
一、准备工作
主机个数:n 台
操作系统:CentOS 6.5
安装所需软件包:
CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz
CDH parcel: CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha #将下载的 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1 重命名为 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
manifest.json
JDK: jdk-7u67-linux-x64.rpm
MySql driver: mysql-connector-Java-5.1.26-bin.jar
软件下载地址:
CDH 下载地址:http://archive.cloudera.com/cdh5/
其中 parcels 地址:http://archive.cloudera.com/cdh5/parcels/5.4.0
CM 下载地址:http://www.cloudera.com/downloads/manager/5-4-3.html
CM 安装官方文档说明:
http://www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html
二、系统环境配置
1、配置网络环境
- 将主机修改为静态 IP
- 修改主机名及对应的 IP
2、SHH 设置免密码登录
ssh-keygen -t rsa #生成密钥文件
ssh-copy-id 主机名 #将生成的公钥文件 copy 到指定主机
3、关闭防火墙
service iptables stop #关闭防火墙
chkconfig iptables off #关闭开机启动
4、关闭 SELinux
setenforce 0 #临时关闭
vi /etc/selinux/config 修改 SELINUX=disabled #永久生效
5、配置时间同步
yun install ntp
chkconfig ntp on
ntpdate -u ntp.sjtu.edu.cn #如果此时间服务器无效,可网上找寻其他时间服务器
6、安装 JDK
Jdk 版本官网要求:1.7.0_67 1.7.0_75 1.8.0_60
安装准备好的 rpm 包:rpm –ivh jdk-7u67-linux-x64.rpm
配置环境变量
vi ~/.bash_profile
#JAVA
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bash_profile
7、安装 mysql
官网推荐 5.1、5.5、5.6 版本
安装:yum install mysql-server
修改权限:
GRANT ALL PRIVILEGES ON *.* TO ‘root’@’%’ IDENTIFIED BY ‘root’ WITH GRANT OPTION;
flush privileges;
8、下载第三方依赖包
yum install chkconfig Python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs RedHat-lsb –y
三、安装 CM
1、安装 CM Agent 和 Server
在 agent 和 server 主机上创建目录
mkdir /opt/cloudera-manager
将安装包解压到指定目录
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2、创建用户 cloudera-scm
在所有节点上执行
useradd –system –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
3、配置 CM Agent
修改配置文件 /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中的 server_host 和 server_port。server_port 默认为 7182。
4、配置 CM Server 数据库
拷贝 mysql 驱动
cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar
执行 mysql 命令
grant all on *.* to ‘temp’@’%’ identified by ‘temp’ with grant option;
配置库
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp –scm-host node1 scm scm scm
其中 node1 为 server 主机名
5、创建 parcel 目录
Server 节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent 节点
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
6、上传 CDH 本地源
上传 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
manifest.json
文件到 /opt/cloudera/parcel-repo
7、启动 CM Server 和 Agent
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
运行很慢,可通过 log 跟踪启动过程。
./cloudera-scm-agent start
在所有 agent 节点上,都要启动
8、访问 CM
地址:http://node1:7180
用户名、密码:admin
接下来就可以安装想要的 CDH 服务了。
CM 安装服务的配置文件存放位置:/etc/
CM 安装服务的运行日志位置:/var/log/
CM 安装服务的包文件存放位置:/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/
本文永久更新链接地址 :http://www.linuxidc.com/Linux/2016-07/133354.htm