共计 6423 个字符，预计需要花费 17 分钟才能阅读完成。
1、部署基本信息说明：
1.1、主机信息
操作系统：选择 CentOS6.7 x86-64 版本
MEM：64GB，CPU: E5-2630 v3 @ 2.40GHz, DISK:2TB*4(数据节点存储，操作系统除外）
主机信息：
主机名 IP
dcnn1 10.20.20.1
dcnn2 10.20.20.2
dcdn01 10.20.20.3
dcdn02 10.20.20.4
dcdn03 10.20.20.5
1.2、CDH 版本信息
ClouderaManager：cm5.7.2
CDH：cdh5.7.2 版本
2、部署步骤
2.1
下载安装包
CM parcel 离线安装包：5.7.2
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
CDH parcel 离线安装包：（5.7.2）
http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/5.7/manifest.json
2.2 账号分配
建立安装用户 bigdata，用户配置 sudo 无密码登录权限，后面都以 bigdata 用户操作, 也可以直接用 root 用户操作
部署管理平台的主机打通到其它主机的 ssh 免登陆（部署用户，bigdata 或者 root），这里用 bigdata
2.3 主机名设置：
每台主机的 /etc/hosts 增加所有主机信息，并用 hostname 命令更改相应主机名
10.20.20.1 dcnn1
10.20.20.2 dcnn2
10.20.20.3 dcdn01
10.20.20.4 dcdn02
10.20.20.5 dcdn03
2.4 网络配置（每台主机）
以 dcnn1 位例
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=dcnn1
通过
service network restart 重启网络服务，生效2.5 关闭 IPtables 和 SELINUX（每台主机）
sudo chkconfig iptables off
sudo /etc/init.d/iptables stop
关闭 SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:
setenforce 0（临时生效）
修改：/etc/selinux/configx 下的 SELINUX=disabled（重启后永久生效）
2.6 开启 NTP 服务
这里因为是和外网隔离的，配置自己的 ntpd 服务器，ntp 服务未安装，请自行安装，一般 linux 系统会默认安装 ntpd 服务，但没有启动，没有的可以自行安装
配置 ntp server：
1）打开 ntp 服务配置文件 /etc/ntp.conf
2）增加内容
// 忽略 ntp 要求封包
restrict default nomodify notrap
restrict 10.20.20.1 mask 255.255.255.0 nomodify
server 10.20.20.1
// 表示 NTP 主服务器是与自身的系统时钟同步
server 127.127.1.0
// 同步上层服务器的 stratum 大小不能超过或等于 16
fudge 127.127.1.0 stratum 10
3）启动
启动服务：sudo service ntpd start
重启生效：sudo chkconfig ntpd on
配置 ntp client：
1）打开 ntp 服务配置文件 /etc/ntp.conf
2）增加内容
server 10.20.20.1
3）启动
启动服务：sudo service ntpd start
重启生效：sudo chkconfig ntpd on
注：ntp 服务的配置，生效需要一段时间，我自己测试大概 5 分钟左右，刚重启 ntp 服务，检查状态并不一定正常。
2.7 安装 JDK
我们使用建议版本 1.8.0_60
因为 CDH 需要 Oracle 的 java（所有节点）
CentOS 自带 OpenJdk，不过运行 CDH5 需要使用 Oracle 的 JDK，需要 Java 7 以上的支持。
先卸载自带的 OpenJdk，使用
rpm -qa | grep java 查询 java 相关的包，使用 rpm -e --nodeps 包名 卸载之。安装：rpm -ivh jdk-8u60-linux-x64.rpm
由于是 rpm 包并不需要我们来配置环境变量，我们只需要配置一个全局的 JAVA_HOME 变量即可，执行命令：
echo “JAVA_HOME=/usr/java/latest/” >> /etc/environment
2.8 安装 MySQL（安装 CentOS6.7 自带版本 5.1.7）
mysql 数据库服务端：
sudo rpm -hvi mysql-5.1.73-5.el6_6.x86_64.rpm
sudo rpm -hvi perl-DBD-MySQL-4.013-3.el6.x86_64.rpm
sudo rpm -hvi mysql-server-5.1.73-5.el6_6.x86_64.rpm
chkconfig mysqld on设置开机启动，并 service mysqld start 启动 mysql 服务，并根据提示设置 root 的初试密码：
mysqladmin -u root password 'bigdata'mysqladmin -u root -h dcnn1 password 'bigdata'mysql 数据库客户端：
sudo rpm -hvi mysql-5.1.73-5.el6_6.x86_64.rpm
创建数据库和设置 mysql 数据库访问权限：
#hivecreate database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
UPDATE user SET password=PASSWORD(‘hive’) WHERE user=’hive’;
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;UPDATE user SET password=PASSWORD(‘amon’) WHERE user=’amon’;
#oozie
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;UPDATE user SET password=PASSWORD(‘oozie’) WHERE user=’oozie’;
#report
create database report DEFAULT CHARSET utf8 COLLATE utf8_general_ci;UPDATE user SET password=PASSWORD(‘report’) WHERE user=’report’;
FLUSH PRIVILEGES;
# 设置 root 授权访问以上所有的数据库：
grant all privileges on *.* to ‘root’@’dcnn1’ identified by ‘bigdata’ with grant option;
flush privileges;
# 授权用户在服务端拥有数据库的访问权限grant all privileges on *.* to ‘oozie’@’dcnn1 ‘ identified by ‘oozie’ with grant option;
grant all privileges on *.* to ‘hive’@’dcnn1’ identified by ‘hive’ with grant option;
grant all privileges on *.* to ‘amon’@’dcnn1 ‘ identified by ‘amon’ with grant option;
grant all privileges on *.* to ‘report’@’dcnn1 ‘ identified by ‘report’ with grant option;
flush privileges;
# 授权 root 用户在客户端拥有数据库的访问权限GRANT ALL PRIVILEGES ON *.* TO ‘hive’@’%’ IDENTIFIED BY ‘hive’ WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO ‘oozie’@’%’ IDENTIFIED BY ‘oozie’ WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO ‘amon’@’%’ IDENTIFIED BY ‘amon’ WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO ‘report’@’%’ IDENTIFIED BY ‘report’ WITH GRANT OPTION;
flush privileges;
2.9 安装 cm
cm 和 namenode 复用了，机器太少了
1）将下载的 cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz 上传至 dcnn1 目录 /opt 下（该目录为 Cloudera manager 的默认目录）
2）tar xvfz cloudera-manager*.tar.gz，解压后生成两个目录 cloudera 和 cm-5.7.2
3)所有节点创建用户 cloudera-scm
sudo useradd –system –home=/opt/cm-5.7.2/run/cloudera-scm-server/ –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
4）为 Cloudera Manager 5 建立数据库
首先需要去 MySql 的官网下载 JDBC 驱动 mysql-connector-java-5.1.38.tar.gz（可以下载最新的版本），下载地址：http://dev.mysql.com/downloads/connector/j/，解压后找到 mysql-connector-java-5.1.38-bin.jar 放到 /opt/cm-5.7.2/share/cmf/lib/ 中：cp mysql-connector-java-5.1.38-bin.jar /opt/cm-5.7.2/share/cmf/lib/
/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -h dcnn1 -uroot -pbigdata –scm-host dcnn1 scm scm scm
遇到问题：未解决，但不影响后面得部署
AVA_HOME=/usr/java/jdk1.8.0_60
Verifying that we can write to /opt/cm-5.7.2/etc/cloudera-scm-server
log4j:ERROR Could not find value for key log4j.appender.A
log4j:ERROR Could not instantiate appender named “A”.
Creating SCM configuration file in /opt/cm-5.7.2/etc/cloudera-scm-server
Executing: /usr/java/jdk1.8.0_60/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.7.2/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.7.2/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
log4j:ERROR Could not find value for key log4j.appender.A
log4j:ERROR Could not instantiate appender named “A”.
agent 配置
1）修改 /opt/cm-5.7.2/etc/cloudera-scm-agent/config.ini 中的 server_host，server_host 为主节点的主机名
2）同步 Agent 到其他节点
sudo scp -r /opt/cm-5.7.2
root@dcnn2:/opt/;sudo scp -r /opt/cm-5.7.2
root@dcdn01:/opt/;sudo scp -r /opt/cm-5.7.2
root@dcdn02:/opt/;sudo scp -r /opt/cm-5.7.2
root@dcdn03:/opt/;2.10 启动服务
通过 sudo /opt/cm-5.7.2/etc/init.d/cloudera-scm-server start 启动服务端
通过 sudo /opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start 启动 agent 端
我们启动的其实是个 service 脚本，需要停止服务将以上的 start 参数改为 stop 就可以了，重启是 restart。
2.11 通过 cm 部署 CDH
1）登录 http://10.20.20.1:7180
2)根据向导就可以一步一步进行了，比较简单。
3 遇到问题
1、hive 和 oozie 启动失败
缺少 JDBC 驱动，因为我的 mysql 装在远端，这里要访问的时候要通过 JDBC 驱动。因此将 mysql-connector-java-5.1.22-bin.jar 添加到 hive 和 oozie 的 lib：
sudo cp mysql-connector-java-5.1.38-bin.jar /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hive/lib
sudo cp mysql-connector-java-5.1.38-bin.jar /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/oozie/libext
2、安装后 hive 在查询时失败，原因是权限问题
org.apache.Hadoop.security.AccessControlException: Permission denied: user=bigdata, access=WRITE, inode=”/user”:hdfs:supergroup:drwxr-xr-x
最简单的处理办法是：服务范围勾选去掉。
更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-08/133924.htm
正文完
星哥玩云-微信公众号
