共计 3384 个字符,预计需要花费 9 分钟才能阅读完成。
CentOS7 下 CDH2.7.2 安装部署
克隆 3 台虚拟机
配置虚拟 机
主机 | 内存 | IP | 软件 |
---|---|---|---|
node1 | 5G | 192.168.2.211 | jdk、 |
node2 | 2G | 192.168.2.212 | jdk、 |
node3 | 2G | 192.168.2.213 | jdk、 |
准备
1、修改 IP
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
# 重启网络
/etc/init.d/network restart
2、修改主机名
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
3、修改 /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.2.211 node1
192.168.2.212 node2
192.168.2.213 node3
4、配置免密码登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
将公钥拷贝到其它要免登录的机器
ssh-copy-id node2
ssh-copy-id node3
将 /etc/hosts 拷贝到其它的机器
scp /etc/hosts root@node2:/etc
scp /etc/hosts root@node3:/etc
5、安装 JDK
上传解压到 /opt/jdk1.8.0_91 目录下
设置环境变量
vi ~/.bash_profile
export Java_HOME=/opt/jdk1.8.0_91
export PATH=$PATH:$JAVA_HOME/bin
刷新环境变量
source ~/.bash_profile
并将 JDK 拷贝到其它主机
6、安装 ntp 同步时间
yum install -y ntp
ntpdate -u ntp.sjtu.edu.cn
7、安装依赖
yum install -y Python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs RedHat-lsb
开始安装 CM
1、下载
#CM 下载地址
http://archive-primary.cloudera.com/cm5/cm/5/
#CDH 下载地址
http://archive.cloudera.com/cdh5/parcels/4
将.sha1 结尾的文件重命名为.sha 结尾
上传到虚拟机
2、安装 Cloudera Manager Server、Agent
mkdir /opt/cloudera-manager
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
3、创建用户 cloudera-scm (三台)
useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
4、配置 CM Agent (三台)
修改文件 /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini 中
server_host 以及 server_port
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
5、配置 CM Server 数据库 为 MySQL
拷贝 mysql jar 文件到目录 /usr/share/Java/
注意 jar 包名称要修改为 mysql-connector-java.jar
mkdir /usr/share/java/
cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar
配置 MySql
# 创建 temp 用户并授权
GRANT ALL ON *.* TO 'temp'@'%' IDENTIFIED BY 'temp' WITH GRANT OPTION;
FLUSH PRIVILEGES;
cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h 192.168.2.1 -utemp -ptemp --scm-host node1 scm scm scm
格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server 服务器
6、创建 Parcel 目录
Server 节点(node1)
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent 节点(node1、node2、node3)
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
将
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha
manifest.json
移动到:
/opt/cloudera/parcel-repo 文件夹下
7、启动 CM Server、Agent
# 启动服务端(node1)
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start
# 启动客户端(node1、node2、node3)
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start
8、访问网址测试
查看启动日志:
/opt/cloudera-manager/cm-5.7.2/log/cloudera-scm-server
192.168.2.211:7180
出现如下界面说明启动成功
开始配置 CM
1、登录
用户名:admin,密码 admin
2、
免费
全选
默认
等待
2 个警告
解决
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 10 > /proc/sys/vm/swappiness
然后单机重新运行。
CDH 的安装和设置 http://www.linuxidc.com/Linux/2017-02/140707.htm
yum 安装 CDH5.5 Hadoop 集群 http://www.linuxidc.com/Linux/2017-02/140186.htm
CDH5.9.0 集群部署与搭建 http://www.linuxidc.com/Linux/2017-01/139615.htm
CDH5.7.2 离线部署笔记 http://www.linuxidc.com/Linux/2016-08/133924.htm
Cloudera Manager 5 和 CDH5 离线安装 http://www.linuxidc.com/Linux/2016-07/133360.htm
CDH5 发行版 Hadoop 集群部署实例 http://www.linuxidc.com/Linux/2017-05/143677.htm
Hadoop 项目之基于 CentOS7 的 Cloudera 5.10.1(CDH)的安装部署 http://www.linuxidc.com/Linux/2017-04/143095.htm
本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-05/143694.htm