共计 2866 个字符,预计需要花费 8 分钟才能阅读完成。
环境:CentOS 6.4,Hadoop 2.6.0,ZooKeeper 3.4.6,HBase 1.0.1.1
集群角色规划:
HostName | HBase Role | ZooKeeper | Hadoop Role |
HDP1 | Master | YES | Slave |
HDP2 | Backup Master & RegionServer | YES | Master |
HDP3 | RegionServer | YES | Slave |
HDP4 | RegionServer | YES | Slave |
1. 任意 Master(HDP1)节点解压 HBase
sudo tar zxvf hbase-1.0.1.1-bin.tar.gz -C /usr/local/
sudo mv hbase-1.0.1.1 hbase
sudo chown -R hdp:hdp hbase
2. 修改 hbase-env.sh
vim conf/hbase-env.sh,出掉 JAVA_HOME 的注释,并修改为本地的 JAVA_HOME
export JAVA_HOME=/usr/lib/jdk7
修改 HBASE_MANAGES_ZK 为 false, 默认为 true, 表示 HBase 托管 zookeeper 实例,如果是 HBase 独占的 zookeeper, 可以设定为 true。
export HBASE_MANAGES_ZK=false
3. 修改 hbase-site.xml
以下只配置几个必需要修改的项,其它的项使用默认值。hbase-site.xml 的默认配置可以从帮助文档 (Default Configuration) 获得。
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://HDP2:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/zookeeper/data</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>HDP1,HDP2,HDP3,HDP4</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
</configuration>
hbase.rootdir:Region Servers 共享的 HBase 持久化数据的存储地址。需要使用包含文件系统 scheme 的完全限定地址。
hbase.cluster.distributed:指定 Hbase 集群是否以分布式方式运行。
hbase.master.port:Master 绑定的端口,包括 backup-master.
hbase.zookeeper.property.dataDir:这个是 ZooKeeper 配置文件 zoo.cfg 中的 dataDir。zookeeper 存储数据库快照的位置。
hbase.zookeeper.quorum:ZooKeeper 的所有成员服务器列表,服务器名之间用逗号分隔。
hbase.zookeeper.property.clientPort:这个是 ZooKeeper 配置文件 zoo.cfg 中的 clientPort。ZooKeeper 提供给客户端连接的端口,默认是 2181。
4. 修改 regionservers,将 RegionServers 写入。
vim conf/regionservers
HDP2,HDP3,HDP4
5. 修改 backup-masters,将 Backup Master 写入。
vim conf/backup-masters
HDP2
6. 添加环境变量方便调用 HBase
vim /etc/profile
#HBase Env
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin:$HBASE_HOME/conf
7. 将修改好的安装目录分发到所有节点,一并修改环境变量。
8. 启动 HBase
在 HDP1 上调用 start-hbase 即可。
9. 通过 jps 查看进程。
HDP1 上有 HMaster,HDP2 上有 HMaster 和 HRegionServer,HDP3 和 HDP4 上是 HRegionServer。
总结:
1. hbase.master.port 需要指定,不然启动 backup-master 时会报 Already in use 的错误。
2. HMaster(包括 backup-master)需要能够 passwordless ssh 到其它服务器
3. 我这里的 ZooKeeper 使用是偶数个节点, 其实是不合理的,应该用奇数个节点。
Hadoop+HBase 搭建云存储总结 PDF http://www.linuxidc.com/Linux/2013-05/83844.htm
Ubuntu Server 14.04 下 Hbase 数据库安装 http://www.linuxidc.com/Linux/2016-05/131499.htm
HBase 结点之间时间不一致造成 regionserver 启动失败 http://www.linuxidc.com/Linux/2013-06/86655.htm
CentOS 6.3 下 HBase 伪分布式平台搭建 http://www.linuxidc.com/Linux/2016-11/136830.htm
Hadoop 集群安装 &HBase 实验环境搭建 http://www.linuxidc.com/Linux/2013-04/83560.htm
基于 Hadoop 集群的 HBase 集群的配置 http://www.linuxidc.com/Linux/2013-03/80815.htm‘
Hadoop 安装部署笔记之 -HBase 完全分布模式安装 http://www.linuxidc.com/Linux/2012-12/76947.htm
单机版搭建 HBase 环境图文教程详解 http://www.linuxidc.com/Linux/2012-10/72959.htm
HBase 的详细介绍:请点这里
HBase 的下载地址:请点这里
本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-11/137303.htm