共计 5727 个字符,预计需要花费 15 分钟才能阅读完成。
安装须知:
- 所有操作都要使用 root 用户,且系统不要有其他用户,ssh 的密钥也都是基于 root 用户的。否则会出现问题【Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) 】
- hostname 都要使用 FQDN 格式,具体参照【配置】的第三步
- 所有节点都安装 ntpd 服务 可参考 CentOS7 中使用 NTP 进行时间同步 http://www.linuxidc.com/Linux/2015-11/124911.htm
- 切记,一定要从空机装起,尤其是以前搭过 Hadoop 环境的。切记 切记 切记 重要的事情说三遍!
安装:
- 在 hortonworks 公共资源库 选定一个 ambari 版本并复制对应的 repo 地址(这个网页的内容加载很慢 要耐心等)。我选的是 2.4.2 地址是 http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo。
- 使用 wget 下载到节点,或者下载到物理机后上传到节点
wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo #文件会下载到当前目录
- 将 ambari.repo 文件拷贝到 /etc/yum.repos.d/ 目录下
mv ambari.repo /etc/yum.repos.d/
- 获取该公共库的所有源文件列表
yum clean all yum list|grep ambari
- 开始安装 server
yum install ambari-server
如果依赖项 postgresql 下载失败,需要手动下载安装;点这里 下载一个并安装就可以了
wget ftp://mirror.switch.ch/pool/4/mirror/scientificlinux/7.2/x86_64/updates/security/postgresql-libs-9.2.15-1.el7_2.x86_64.rpm; rpm -ivh postgresql-libs-9.2.15-1.el7_2.x86_64.rpm
- 安装完成后,开始进行配置(全部用默认项 全程回车)。其中有一步 需要指定用户账号,要记住使用 root
ambari-server setup
- 配置完成就可以启动了, 然后 就可以用 8080 端口访问管理页面了
ambari-server start
配置集群:
安装成功后,就需要在 WEBUI 中创建集群了。点击【Launch Install Wizard】
1.GetStarted 指定集群名
2.Select Version 选择 HDP 版本。HDP 版本对应的是一组生态组件的版本。根据自己需要的组件版本选择一个即可。我选择的是 HDP-2.5
下面的内容,使用公共资源库即可(推荐把资源下载到本地,然后使用本地库。Public Repo 的话需要很长时间)。【Skip ……】这个也不用选,进入下一步。
3.Install Options 安装配置。这一步要谨慎
Target Hosts 要指定 Hosts 列表,这个 hostname 的格式必须是 Fully Qualified Domain Name (FQDN),简单点说,必须是一个域名的格式,如下图所示。/etc/hosts 当然也要与之对应
Host Registration Information 这里要选择使用私钥,并上传作为 Ambari 的主机的 私钥,当然也可以直接粘贴私钥的内容 注:id_dsa 是私钥,id_dsa.pub 是公钥。UserAccount 使用 root 端口不用改
4.Confirm Hosts
从上一步过来后,在这一步会自动节点注册,并会显示进度及注册状况
可以点击①查看有哪些注册过程中缺少的内容
5.Choose Services 选择集群中需要安装的服务
有些服务是必须得,或者是被依赖的,如果没选的 点击下一步的时候会有提示。
6.Assign Masters 给各节点组件分配资源,这个自己看着来就行
7.Assign Slaves and Clients 配置从节点和客户端。注意最后一列的 Client 指的是各种客户端,而不是某一种。
8.Customize Service 服务的自定义设置
这一步里大部分都可以使用默认项,少部分需要改动和设置,如 Hive 和 Oozie 需要指定数据库密码等
红色数字标志表示这一项有需要手动设置的内容。
此外,如果 Hive 和 Oozie 使用 Mysql 的话,还需要先安装 MySql, 然后创建 hive,oozie 用户并赋予权限, 当然 还有 hive、oozie 数据库
具体操作可参考 CentOS7 minimal 下 MySQL 的卸载及安装 http://www.linuxidc.com/Linux/2016-12/137942.htm
还要在 ambari server 上执行
ambari-server setup
--jdbc-db=mysql --jdbc-driver=[/path/to/mysql/mysql-connector-java.jar]
如果有不合适的参数,是无法进入下一步的,点击下一步的时候系统会提示需要改成的值。
更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2016-12/138142p2.htm
9.Review 提供一个总结的安装列表,供用户审阅并提供打印功能
10.Install,Start and Test 开始安装和测试。这一步会花费较长时间,因为需要在线下载安装各种组件。
这一步可能会失败多次,不过不要慌 这基本是网络因素,不断重试就可以了
11.Summary 安装情况总览
我的 NameNode 没有启动成功,所以有警告,暂不知道是否有影响
收拾烂摊子
集群创建完了也还是有很多要手动修改的地方
这些红彤彤的标志 都是启动失败的服务。
最开始 HDFS 那一项也是红的,找了一下午的错误,最终发现是因为之前的系统变量 $Hadoop_HOME 没有删掉 导致路径出现问题
明明已经 unset 过了 结果一重启机器又出现,并且还找不到在哪里设置的。没办法,只能设了一个软链接搞定。
又过了半天 终于弄好了 太不容易了
看到上方的红数字消失,无比激动
NameNode HA
默认安装的集群 NameNode 是单点的,我们自然要给升级为 HA
1. 如果启动了 HBase 的话,我们要先关闭 HBase 服务
2.HDFS->Service Actions -> Enable NameNode HA
3.Get Started 指定 service ID
4.Select Hosts 选择作为备用 NameNode 以及作为 JournalNode 的 host
5.Review 确认上一步的设定。配置不用改动,直接下一步
6.Create Checkpoint
这一步的操作需要手动完成(启用 Safe mode)。
安装须知:
- 所有操作都要使用 root 用户,且系统不要有其他用户,ssh 的密钥也都是基于 root 用户的。否则会出现问题【Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) 】
- hostname 都要使用 FQDN 格式,具体参照【配置】的第三步
- 所有节点都安装 ntpd 服务 可参考 CentOS7 中使用 NTP 进行时间同步 http://www.linuxidc.com/Linux/2015-11/124911.htm
- 切记,一定要从空机装起,尤其是以前搭过 Hadoop 环境的。切记 切记 切记 重要的事情说三遍!
安装:
- 在 hortonworks 公共资源库 选定一个 ambari 版本并复制对应的 repo 地址(这个网页的内容加载很慢 要耐心等)。我选的是 2.4.2 地址是 http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo。
- 使用 wget 下载到节点,或者下载到物理机后上传到节点
wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo #文件会下载到当前目录
- 将 ambari.repo 文件拷贝到 /etc/yum.repos.d/ 目录下
mv ambari.repo /etc/yum.repos.d/
- 获取该公共库的所有源文件列表
yum clean all yum list|grep ambari
- 开始安装 server
yum install ambari-server
如果依赖项 postgresql 下载失败,需要手动下载安装;点这里 下载一个并安装就可以了
wget ftp://mirror.switch.ch/pool/4/mirror/scientificlinux/7.2/x86_64/updates/security/postgresql-libs-9.2.15-1.el7_2.x86_64.rpm; rpm -ivh postgresql-libs-9.2.15-1.el7_2.x86_64.rpm
- 安装完成后,开始进行配置(全部用默认项 全程回车)。其中有一步 需要指定用户账号,要记住使用 root
ambari-server setup
- 配置完成就可以启动了, 然后 就可以用 8080 端口访问管理页面了
ambari-server start
配置集群:
安装成功后,就需要在 WEBUI 中创建集群了。点击【Launch Install Wizard】
1.GetStarted 指定集群名
2.Select Version 选择 HDP 版本。HDP 版本对应的是一组生态组件的版本。根据自己需要的组件版本选择一个即可。我选择的是 HDP-2.5
下面的内容,使用公共资源库即可(推荐把资源下载到本地,然后使用本地库。Public Repo 的话需要很长时间)。【Skip ……】这个也不用选,进入下一步。
3.Install Options 安装配置。这一步要谨慎
Target Hosts 要指定 Hosts 列表,这个 hostname 的格式必须是 Fully Qualified Domain Name (FQDN),简单点说,必须是一个域名的格式,如下图所示。/etc/hosts 当然也要与之对应
Host Registration Information 这里要选择使用私钥,并上传作为 Ambari 的主机的 私钥,当然也可以直接粘贴私钥的内容 注:id_dsa 是私钥,id_dsa.pub 是公钥。UserAccount 使用 root 端口不用改
4.Confirm Hosts
从上一步过来后,在这一步会自动节点注册,并会显示进度及注册状况
可以点击①查看有哪些注册过程中缺少的内容
5.Choose Services 选择集群中需要安装的服务
有些服务是必须得,或者是被依赖的,如果没选的 点击下一步的时候会有提示。
6.Assign Masters 给各节点组件分配资源,这个自己看着来就行
7.Assign Slaves and Clients 配置从节点和客户端。注意最后一列的 Client 指的是各种客户端,而不是某一种。
8.Customize Service 服务的自定义设置
这一步里大部分都可以使用默认项,少部分需要改动和设置,如 Hive 和 Oozie 需要指定数据库密码等
红色数字标志表示这一项有需要手动设置的内容。
此外,如果 Hive 和 Oozie 使用 Mysql 的话,还需要先安装 MySql, 然后创建 hive,oozie 用户并赋予权限, 当然 还有 hive、oozie 数据库
具体操作可参考 CentOS7 minimal 下 MySQL 的卸载及安装 http://www.linuxidc.com/Linux/2016-12/137942.htm
还要在 ambari server 上执行
ambari-server setup
--jdbc-db=mysql --jdbc-driver=[/path/to/mysql/mysql-connector-java.jar]
如果有不合适的参数,是无法进入下一步的,点击下一步的时候系统会提示需要改成的值。
更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2016-12/138142p2.htm
如图所示,在 NameNode 所在 Host 先后执行两条命令
sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'
sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'
执行成功之后 Next 会自动变得可点击
7.Configure Components 开始重新配置各个组件服务
8.Manual Steps Required 又是一个需要手动的环节
9.Start Components 启动各组件
10.Manual Steps Required: Initialize NameNode HA Metadata 手动初始化 NameNode HA 的元数据
在主 NameNode 上执行
sudo su hdfs -l -c 'hdfs zkfc -formatZK'
在备用 NameNode 上执行
sudo su hdfs -l -c 'hdfs namenode -bootstrapStandby'
11. Finalize HA Setup 终点站 能不能下班就看这个执行情况了。
关于二次开发
ambari 的 GUI 代码存放在 /usr/lib/ambari-server/web
不过是经过合并的,直接修改很不方便
参考:
-
Ambari——大数据平台的搭建利器
本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-12/138142.htm