CentOS7下CDH2.7.2安装部署

共计 3384 个字符，预计需要花费 9 分钟才能阅读完成。

CentOS7 下 CDH2.7.2 安装部署

克隆 3 台虚拟机

配置虚拟 机

主机	内存	IP	软件
node1	5G	192.168.2.211	jdk、
node2	2G	192.168.2.212	jdk、
node3	2G	192.168.2.213	jdk、

准备

---

1、修改 IP

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
# 重启网络
/etc/init.d/network restart

2、修改主机名

hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3

3、修改 /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.2.211 node1
192.168.2.212 node2
192.168.2.213 node3

4、配置免密码登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将公钥拷贝到其它要免登录的机器

ssh-copy-id node2
ssh-copy-id node3

将 /etc/hosts 拷贝到其它的机器

scp /etc/hosts root@node2:/etc
scp /etc/hosts root@node3:/etc

5、安装 JDK

上传解压到 /opt/jdk1.8.0_91 目录下

设置环境变量

vi ~/.bash_profile

export Java_HOME=/opt/jdk1.8.0_91
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量

source ~/.bash_profile

并将 JDK 拷贝到其它主机

6、安装 ntp 同步时间

yum install -y ntp
ntpdate -u ntp.sjtu.edu.cn

7、安装依赖

yum install -y Python bind-utils  psmisc  libxslt  zlib  sqlite  cyrus-sasl-plain  cyrus-sasl-gssapi  fuse  portmap  fuse-libs  RedHat-lsb

开始安装 CM

1、下载

#CM 下载地址
http://archive-primary.cloudera.com/cm5/cm/5/

#CDH 下载地址
http://archive.cloudera.com/cdh5/parcels/4

将.sha1 结尾的文件重命名为.sha 结尾

上传到虚拟机

2、安装 Cloudera Manager Server、Agent

mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

3、创建用户 cloudera-scm (三台)

useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4、配置 CM Agent (三台)
修改文件 /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini 中
server_host 以及 server_port

vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini

5、配置 CM Server 数据库 为 MySQL
拷贝 mysql jar 文件到目录 /usr/share/Java/
注意 jar 包名称要修改为 mysql-connector-java.jar

mkdir /usr/share/java/
cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

配置 MySql

# 创建 temp 用户并授权
GRANT ALL ON *.* TO 'temp'@'%' IDENTIFIED BY 'temp' WITH GRANT OPTION;
FLUSH PRIVILEGES;

cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h 192.168.2.1 -utemp -ptemp --scm-host node1 scm scm scm
                    格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server 服务器

6、创建 Parcel 目录

Server 节点(node1)
    mkdir -p /opt/cloudera/parcel-repo
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent 节点(node1、node2、node3)
    mkdir -p /opt/cloudera/parcels
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

将
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha
manifest.json
移动到：
/opt/cloudera/parcel-repo 文件夹下

7、启动 CM Server、Agent

# 启动服务端（node1）
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start

# 启动客户端（node1、node2、node3）
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start

8、访问网址测试
查看启动日志：
/opt/cloudera-manager/cm-5.7.2/log/cloudera-scm-server

192.168.2.211:7180

出现如下界面说明启动成功

开始配置 CM

1、登录
用户名：admin，密码 admin

2、
免费

全选

默认

等待

2 个警告

解决

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 10 > /proc/sys/vm/swappiness

然后单机重新运行。

CDH 的安装和设置 http://www.linuxidc.com/Linux/2017-02/140707.htm

yum 安装 CDH5.5 Hadoop 集群 http://www.linuxidc.com/Linux/2017-02/140186.htm

CDH5.9.0 集群部署与搭建 http://www.linuxidc.com/Linux/2017-01/139615.htm

CDH5.7.2 离线部署笔记 http://www.linuxidc.com/Linux/2016-08/133924.htm

Cloudera Manager 5 和 CDH5 离线安装  http://www.linuxidc.com/Linux/2016-07/133360.htm

CDH5 发行版 Hadoop 集群部署实例  http://www.linuxidc.com/Linux/2017-05/143677.htm

Hadoop 项目之基于 CentOS7 的 Cloudera 5.10.1（CDH）的安装部署  http://www.linuxidc.com/Linux/2017-04/143095.htm

本文永久更新链接地址：http://www.linuxidc.com/Linux/2017-05/143694.htm