阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 6 Ambari Hadoop平台的安装(本地库)

222次阅读
没有评论

共计 6315 个字符,预计需要花费 16 分钟才能阅读完成。

1. 安装前的准备

1.1 硬件要求

无特殊需求(根据 Hadoop 各个组件需求及实际情况,一般建议单个集群的机器数量在 3 台及以上:1 台 Master 结点,2 台机器作为 Slave 结点)。

1.2 软件要求

1.2.1 操作系统

仅支持如下操作系统:

  •   Red Hat Enterprise Linux (RHEL) v5.x or 6.x (64-bit)
  •   CentOS v5.x or 6.x (64-bit)
  •   SUSE Linux Enterprise Server (SLES) 11, SP1 (64-bit)

1.2.2 浏览器

Ambari Web 接口运行的浏览器需求如下:

  Windows (Vista, 7)

  •    Internet Explorer 9.0 and higher
  •    Firefox latest stable release
  •    Safari latest stable release
  •    Google Chrome latest stable release

  Mac OS X (10.6 or later)

  • Firefox latest stable release
  • Safari latest stable release
  • Google Chrome latest stable release

  Linux (RHEL, CentOS, SLES)

  • Firefox latest stable release
  • Google Chrome latest stable release

1.2.3 数据库

Hadoop 的一些组件需要用到传统关系型数据库。如 MySQL,Derby,PostgreSQL。

1.3 安装环境准备

1.3.1 地址映射

配置详情

# vi /etc/hosts

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

::1        localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.31.3    < 主机的全名,如 john.smith>

 

1.3.2 SSH 无密码登录

确保 ssh 版本最新,sshd 服务开启。

配置详情

1)        确认是否已经安装ssh

# rpm -qa | grep ssh

# yum install ssh //上条命令无输出时

2)        修改配置文件

# vi /etc/ssh/sshd_config

RSAAuthentication yes         # 启用 RSA 认证

PubkeyAuthentication yes       # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys      # 公钥文件路径

# service sshd restart //重启 sshd 服务

3)        生成秘钥

$ ssh-keygen -t rsa

Tips:敲完命令,一直回车,直到命令结束生成如下类似的图案

 

CentOS 6 Ambari Hadoop 平台的安装(本地库)

 

图 1 -1 生成秘钥

 CentOS 6 Ambari Hadoop 平台的安装(本地库)

 

图 1 -2 生成的秘钥

4)        添加公钥

$ cat .ssh/id_rsa >> .ssh/authorized_keys

Tips.ssh 700, authorized_keys 644

CentOS 6 Ambari Hadoop 平台的安装(本地库)

 

 

图 1 -3 配置成功

1.3.3 关闭 SELinux

命令:临时关闭

# setenforce 0

命令:永久关闭

#vi /etc/selinux/config

config

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#       enforcing - SELinux security policy is enforced.
#       permissive - SELinux prints warnings instead of enforcing.
#       disabled - SELinux is fully disabled.
SELINUX=disabled 
# SELINUXTYPE= type of policy in use. Possible values are:
#       targeted - Only targeted network daemons are protected.
#       strict - Full SELinux protection.
SELINUXTYPE=targeted

1.3.4 关闭 iptables

命令

#chkconfig iptables off

#/etc/init.d/iptables stop

1.3.5 关闭 Packagekit

命令

#vi /etc/yum/pluginconf.d/refresh-packagekit.conf

enabled=0

1.3.6 NTP

针对集群,需要一台时间同步服务器,确保集群时间同步,若差距太大,很多组件无法正常运行。

命令

# rpm -qa | grep ntp //查看是否已经安装NTP

# yum install ntp //安装NTP

# vi /etc/ntp.conf

// restrict default kod nomodify notrap nopeer noquery 改为

restrict default nomodify

// 添加 / 修改上一层时间同步服务器

server 0.cn.pool.ntp.org

server 0.asia.pool.ntp.org

server 2.asia.pool.ntp.org

# chkconfig ntpd on

# service ntpd start

1.3.7 卸载 OpenJDK 安装 Oracle JDK

命令

#rpm -qa | grep java

#rpm -e –nodeps xxx

#rpm -ivh xxx.rpm

#vi /etc/profiles

// 配置 JAVA_HOME

export JAVA_HOME=/xxx

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#source /etc/profiles

1.3.8 安装、配置 PostgreSQL 或 MySQL

PostgreSQL安装命令

# wget https://download.postgresql.org/pub/repos/yum/9.2/RedHat/rhel-6-x86_64/pgdg-centos92-9.2-8.noarch.rpm

# rpm –ivh xxxx.rpm

# vi /etc/yum.repos.d/ CentOS-Base.repo

[base]

exclude=postgresql*

[updates]

exclude=postgresql*

# yum upgrade postgresql-libs 

# yum install postgresql92-server

# service postgresql-9.2 initdb

# service postgresql-9.2 start

# psql -U postgres

// 修改配置文件 /var/lib/pgsql/9.1/data/pg_hba.conf 将 peer 改为 trust,将 METHOD 由默认的 ident 改为 md5,再重启服务

MySQL安装、部署命令

# rpm -qa | grep mysql

# rpm -e –nodeps mysql  // 卸载原有的 MySQL

# yum install -y mysql-server mysql mysql-devel

# service mysqld start

# chkconfig mysqld on  // 开机启动 mysqld 服务

# mysqladmin -u root password ‘root’ //初始化数据库 root 账户

1.3.9 安装 MySQL 依赖

命令

# yum install mysql-connector-java

# chmod 644 /usr/share/java/<mysql-connector-java.jar>

1.3.10 UMASK

命令

#echo umask 0022 >> /etc/profile

1.3.11 搭建本地库

(1)      基本依赖组件安装

命令

# yum install createrepo

# yum install openssl

# yum install nc

# yum install redhat-lsb

# yum install gcc

# yum install python-devel

# yum install python-libs

 

(2)      下载相关文件

ITEMS

URLS

Ambari 2.2.2

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/

ambari-2.2.2.0-centos6.tar.gz

HDP 2.4

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/

updates/2.4.2.0/HDP-2.4.2.0-centos6-rpm.tar.gz

HDP-UTILS

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/

repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz

(3)      安装Apache httpd

命令

# yum install httpd

# chkconfig –levels 235 httpd on

# /etc/init.d/httpd start

# mkdir -p /var/www/html/ambari

# mkdir -p /var/www/html/hdp

# mkdir -p /var/www/html/hdp-utils

//打开浏览器,键入 http://localhost 会出现如下类似的页面,表面安装并开启成功。

 CentOS 6 Ambari Hadoop 平台的安装(本地库)

 

(4)      解压、配置 repo 文件

命令

# tar -zxvf ambari-2.2.2.0-centos6.tar.gz -C  /var/www/html/ambari

# tar -zxvf HDP-2.4.2.0-centos6-rpm.tar.gz -C  /var/www/html/hdp

# tar -zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz -C  /var/www/html/hdp-utils

 

# vi ambari.repo

[Updates-ambari-2.2.2.0]

name=ambari-2.2.2.0-Updates

baseurl=http://192.168.31.3/ambari/AMBARI-2.2.2.0/centos6/2.2.2.0-460/

gpgcheck=1

gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

# vi hdp.repo

[HDP-2.4.2.0]

name=HDPVersion-HDP-2.4.2.0

baseurl=http://192.168.31.3/hdp/HDP/centos6/2.x/updates/2.4.2.0/

gpgcheck=1

gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

# vi hdp-utils.repo

[HDP-UTILS-1.1.0.20]

name=HDPUtilsVersion-HDP-UTILS-1.1.0.20

baseurl=http://192.168.31.3/hdp-utils/HDP-UTILS-1.1.0.20/repos/centos6/

gpgcheck=1

gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

# cp ambari.repo /etc/yum.repos.d/

# cp hdp.repo /etc/yum.repos.d/

# cp hdp-utils.repo /etc/yum.repos.d/

 

// 打开编辑的链接,可以看到解压出的文件已经挂在 httpd 上了。

CentOS 6 Ambari Hadoop 平台的安装(本地库)

 

 

 

 

 

 

 

 

2. Ambari 组件安装

2.1 Ambari server

命令

# yum install ambari-server

# ambari-server start //启动服务

# ambari-server status //状态查看

 

//初始化数据库(以 MySQL 为例)

# mysql -u root -p

mysql> CREATE USER ‘<AMBARIUSER>’@’%’ IDENTIFIED BY ‘<AMBARIPASSWORD>’;

mysql> GRANT ALL PRIVILEGES ON *.* TO ‘<AMBARIUSER>’@’%’;

mysql> CREATE USER ‘<AMBARIUSER>’@’localhost’ IDENTIFIED BY ‘<AMBARIPASSWORD>’;

mysql> GRANT ALL PRIVILEGES ON *.* TO ‘<AMBARIUSER>’@’localhost’;

mysql> CREATE USER ‘<AMBARIUSER>’@'<AMBARISERVERFQDN>’ IDENTIFIED BY ‘<AMBARIPASSWORD>’;

mysql> GRANT ALL PRIVILEGES ON *.* TO ‘<AMBARIUSER>’@'<AMBARISERVERFQDN>’;

mysql> FLUSH PRIVILEGES;

 

# ambari-server setup //根据提示进行

//若以上安装过程未能成功初始化 ambari 数据库,则切换用户,手动导入 Ambari 的元数据

#mysql -u <AMBARIUSER> -p

mysql> CREATE DATABASE <AMBARIDATABASE>;

mysql> USE <AMBARIDATABASE>;

mysql> SOURCE Ambari-DDL-MySQL-CREATE.sql;

 

注:<AMBARIUSER><AMBARIPASSWORD><AMBARISERVERFQDN>等在实际安装的过程中应根据具体的情况替换。

2.2 Ambari Agent

Ambari agent 按安装完 Server 之后,可以通过其 WebUI 进行安装,但在 WebUI 上安装成功率不高,可以通过手动安装。

 

命令

# yum install ambari-agent -y

# ambari-agent start

# ambari-agent status //状态查看

3. 大数据组件安装

(1) 确保 ambari-server 启动,默认通过 http://localhost:8080 登录 Ambari WebUI,默认的登录密码是 admin/admin。界面如下图所示:

CentOS 6 Ambari Hadoop 平台的安装(本地库)

 

 

(2) 登录成功,准备安装集群。

CentOS 6 Ambari Hadoop 平台的安装(本地库)

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-05/144201.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计6315字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中