共计 6315 个字符,预计需要花费 16 分钟才能阅读完成。
1. 安装前的准备
1.1 硬件要求
无特殊需求(根据 Hadoop 各个组件需求及实际情况,一般建议单个集群的机器数量在 3 台及以上:1 台 Master 结点,2 台机器作为 Slave 结点)。
1.2 软件要求
1.2.1 操作系统
仅支持如下操作系统:
- Red Hat Enterprise Linux (RHEL) v5.x or 6.x (64-bit)
- CentOS v5.x or 6.x (64-bit)
- SUSE Linux Enterprise Server (SLES) 11, SP1 (64-bit)
1.2.2 浏览器
Ambari Web 接口运行的浏览器需求如下:
Windows (Vista, 7)
- Internet Explorer 9.0 and higher
- Firefox latest stable release
- Safari latest stable release
- Google Chrome latest stable release
Mac OS X (10.6 or later)
- Firefox latest stable release
- Safari latest stable release
- Google Chrome latest stable release
Linux (RHEL, CentOS, SLES)
- Firefox latest stable release
- Google Chrome latest stable release
1.2.3 数据库
Hadoop 的一些组件需要用到传统关系型数据库。如 MySQL,Derby,PostgreSQL。
1.3 安装环境准备
1.3.1 地址映射
配置详情 |
# vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.31.3 < 主机的全名,如 john.smith> |
1.3.2 SSH 无密码登录
确保 ssh 版本最新,sshd 服务开启。
配置详情 |
1) 确认是否已经安装ssh # rpm -qa | grep ssh # yum install ssh //上条命令无输出时 2) 修改配置文件 # vi /etc/ssh/sshd_config RSAAuthentication yes # 启用 RSA 认证 PubkeyAuthentication yes # 启用公钥私钥配对认证方式 AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径 # service sshd restart //重启 sshd 服务 3) 生成秘钥 $ ssh-keygen -t rsa Tips:敲完命令,一直回车,直到命令结束生成如下类似的图案
图 1 -1 生成秘钥
图 1 -2 生成的秘钥 4) 添加公钥 $ cat .ssh/id_rsa >> .ssh/authorized_keys Tips:.ssh 700, authorized_keys 644
图 1 -3 配置成功 |
1.3.3 关闭 SELinux
命令:临时关闭 |
# setenforce 0 |
命令:永久关闭 |
#vi /etc/selinux/config config:
|
1.3.4 关闭 iptables
命令 |
#chkconfig iptables off #/etc/init.d/iptables stop |
1.3.5 关闭 Packagekit
命令 |
#vi /etc/yum/pluginconf.d/refresh-packagekit.conf enabled=0 |
1.3.6 NTP
针对集群,需要一台时间同步服务器,确保集群时间同步,若差距太大,很多组件无法正常运行。
命令 |
# rpm -qa | grep ntp //查看是否已经安装NTP # yum install ntp //安装NTP # vi /etc/ntp.conf // restrict default kod nomodify notrap nopeer noquery 改为 restrict default nomodify // 添加 / 修改上一层时间同步服务器 server 0.cn.pool.ntp.org server 0.asia.pool.ntp.org server 2.asia.pool.ntp.org # chkconfig ntpd on # service ntpd start |
1.3.7 卸载 OpenJDK 安装 Oracle JDK
命令 |
#rpm -qa | grep java #rpm -e –nodeps xxx #rpm -ivh xxx.rpm #vi /etc/profiles // 配置 JAVA_HOME export JAVA_HOME=/xxx export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar #source /etc/profiles |
1.3.8 安装、配置 PostgreSQL 或 MySQL
PostgreSQL安装命令 |
# wget https://download.postgresql.org/pub/repos/yum/9.2/RedHat/rhel-6-x86_64/pgdg-centos92-9.2-8.noarch.rpm # rpm –ivh xxxx.rpm # vi /etc/yum.repos.d/ CentOS-Base.repo [base] … exclude=postgresql* [updates] … exclude=postgresql* # yum upgrade postgresql-libs # yum install postgresql92-server # service postgresql-9.2 initdb # service postgresql-9.2 start # psql -U postgres // 修改配置文件 /var/lib/pgsql/9.1/data/pg_hba.conf 将 peer 改为 trust,将 METHOD 由默认的 ident 改为 md5,再重启服务 |
MySQL安装、部署命令 |
# rpm -qa | grep mysql # rpm -e –nodeps mysql // 卸载原有的 MySQL # yum install -y mysql-server mysql mysql-devel # service mysqld start # chkconfig mysqld on // 开机启动 mysqld 服务 # mysqladmin -u root password ‘root’ //初始化数据库 root 账户 |
1.3.9 安装 MySQL 依赖
命令 |
# yum install mysql-connector-java # chmod 644 /usr/share/java/<mysql-connector-java.jar> |
1.3.10 UMASK
命令 |
#echo umask 0022 >> /etc/profile |
1.3.11 搭建本地库
(1) 基本依赖组件安装
命令 |
# yum install createrepo # yum install openssl # yum install nc # yum install redhat-lsb # yum install gcc # yum install python-devel # yum install python-libs |
(2) 下载相关文件
ITEMS |
URLS |
Ambari 2.2.2 |
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/ ambari-2.2.2.0-centos6.tar.gz |
HDP 2.4 |
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/ updates/2.4.2.0/HDP-2.4.2.0-centos6-rpm.tar.gz |
HDP-UTILS |
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/ repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz |
(3) 安装Apache httpd
命令 |
# yum install httpd # chkconfig –levels 235 httpd on # /etc/init.d/httpd start # mkdir -p /var/www/html/ambari # mkdir -p /var/www/html/hdp # mkdir -p /var/www/html/hdp-utils //打开浏览器,键入 http://localhost 会出现如下类似的页面,表面安装并开启成功。
|
(4) 解压、配置 repo 文件
命令 |
# tar -zxvf ambari-2.2.2.0-centos6.tar.gz -C /var/www/html/ambari # tar -zxvf HDP-2.4.2.0-centos6-rpm.tar.gz -C /var/www/html/hdp # tar -zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz -C /var/www/html/hdp-utils
# vi ambari.repo [Updates-ambari-2.2.2.0] name=ambari-2.2.2.0-Updates baseurl=http://192.168.31.3/ambari/AMBARI-2.2.2.0/centos6/2.2.2.0-460/ gpgcheck=1 gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
# vi hdp.repo [HDP-2.4.2.0] name=HDPVersion-HDP-2.4.2.0 baseurl=http://192.168.31.3/hdp/HDP/centos6/2.x/updates/2.4.2.0/ gpgcheck=1 gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
# vi hdp-utils.repo [HDP-UTILS-1.1.0.20] name=HDPUtilsVersion-HDP-UTILS-1.1.0.20 baseurl=http://192.168.31.3/hdp-utils/HDP-UTILS-1.1.0.20/repos/centos6/ gpgcheck=1 gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
# cp ambari.repo /etc/yum.repos.d/ # cp hdp.repo /etc/yum.repos.d/ # cp hdp-utils.repo /etc/yum.repos.d/
// 打开编辑的链接,可以看到解压出的文件已经挂在 httpd 上了。
|
2. Ambari 组件安装
2.1 Ambari server
命令 |
# yum install ambari-server # ambari-server start //启动服务 # ambari-server status //状态查看
//初始化数据库(以 MySQL 为例) # mysql -u root -p mysql> CREATE USER ‘<AMBARIUSER>’@’%’ IDENTIFIED BY ‘<AMBARIPASSWORD>’; mysql> GRANT ALL PRIVILEGES ON *.* TO ‘<AMBARIUSER>’@’%’; mysql> CREATE USER ‘<AMBARIUSER>’@’localhost’ IDENTIFIED BY ‘<AMBARIPASSWORD>’; mysql> GRANT ALL PRIVILEGES ON *.* TO ‘<AMBARIUSER>’@’localhost’; mysql> CREATE USER ‘<AMBARIUSER>’@'<AMBARISERVERFQDN>’ IDENTIFIED BY ‘<AMBARIPASSWORD>’; mysql> GRANT ALL PRIVILEGES ON *.* TO ‘<AMBARIUSER>’@'<AMBARISERVERFQDN>’; mysql> FLUSH PRIVILEGES;
# ambari-server setup //根据提示进行 //若以上安装过程未能成功初始化 ambari 数据库,则切换用户,手动导入 Ambari 的元数据 #mysql -u <AMBARIUSER> -p mysql> CREATE DATABASE <AMBARIDATABASE>; mysql> USE <AMBARIDATABASE>; mysql> SOURCE Ambari-DDL-MySQL-CREATE.sql;
注:<AMBARIUSER>,<AMBARIPASSWORD>,<AMBARISERVERFQDN>等在实际安装的过程中应根据具体的情况替换。 |
2.2 Ambari Agent
Ambari agent 按安装完 Server 之后,可以通过其 WebUI 进行安装,但在 WebUI 上安装成功率不高,可以通过手动安装。
命令 |
# yum install ambari-agent -y # ambari-agent start # ambari-agent status //状态查看 |
3. 大数据组件安装
(1) 确保 ambari-server 启动,默认通过 http://localhost:8080 登录 Ambari WebUI,默认的登录密码是 admin/admin。界面如下图所示:
(2) 登录成功,准备安装集群。
更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-05/144201.htm