在Hadoop集群部署Hbase并开启kerberos

191次阅读

共计 5330 个字符，预计需要花费 14 分钟才能阅读完成。

系统：LXC – CentOS6.3 x86_64

Hadoop 版本：cdh5.0.1(manmual 安装，未安装 cloudera-manager 相关)

集群现有环境：node*6；jdk1.7.0_55；已安装 zookeeper、hdfs(HA)、yarn、historyserver 和 httpfs 并已开启 kerberos(kdc 部署在 cluster 的一个节点上)。

所需安装的包：所有节点 -> yum install hbase 主节点 -> yum install hbase-master hbase-thrift hbase-rest 从节点 -> yum install hbase-regionserver

所需修改的配置文件如下：

主配置文件及内容：/etc/hbase/conf/hbase-site.xml

<name>hbase.cluster.distributed</name>

</property>

<name>hbase.rootdir</name>

<value>hdfs://irs-hdp-HA/hbase</value>

</property>

<name>hbase.rest.port</name>

</property>

<name>hbase.zookeeper.quorum</name>

<value>cdh01.hypers.com,cdh02.hypers.com,cdh03.hypers.com</value>

</property>

<name>hbase.replication</name>

</property>

<name>hbase.security.authorization</name>

</property>

<name>hbase.coprocessor.master.classes</name>

<value>org.apache.hadoop.hbase.security.access.AccessController</value>

</property>

<name>hbase.coprocessor.region.classes</name>

<value>org.apache.hadoop.hbase.security.token.TokenProvider,org.apache.hadoop.hbase.security.access.AccessController</value>

</property>

<name>hbase.security.authentication</name>

<value>kerberos</value>

</property>

<name>hbase.rpc.engine</name>

<value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>

</property>

<name>hbase.regionserver.kerberos.principal</name>

<value>hbase/_HOST@HADOOP.COM</value>

</property>

<name>hbase.regionserver.keytab.file</name>

<value>/etc/hadoop/conf/hbase.keytab</value>

</property>

<name>hbase.master.kerberos.principal</name>

<value>hbase/_HOST@HADOOP.COM</value>

</property>

<name>hbase.master.keytab.file</name>

<value>/etc/hadoop/conf/hbase.keytab</value>

</property>

<name>hbase.thrift.keytab.file</name>

<value>/etc/hadoop/conf/hbase.keytab</value>

</property>

<name>hbase.thrift.kerberos.principal</name>

<value>hbase/_HOST@HADOOP.COM</value>

</property>

<name>hbase.rest.keytab.file</name>

<value>/etc/hadoop/conf/hbase.keytab</value>

</property>

<name>hbase.rest.kerberos.principal</name>

<value>hbase/_HOST@HADOOP.COM</value>

</property>

<name>hbase.rest.authentication.type</name>

<value>kerberos</value>

</property>

<name>hbase.rest.authentication.kerberos.principal</name>

<value>HTTP/_HOST@HADOOP.COM</value>

</property>

<name>hbase.rest.authentication.kerberos.keytab</name>

<value>/etc/hadoop/conf/hbase.keytab</value>

</property>

</configuration>

安全相关配置文件 /etc/hbase/conf/zk-jaas.conf

Client {

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

useTicketCache=false

keyTab=”/etc/hadoop/conf/hbase.keytab”

principal=”hbase/cdh01.hypers.com@HADOOP.COM”;

};

hbase 相关的环境变量文件：/etc/hbase/conf/hbase-env.sh

export HBASE_OPTS=”-XX:+UseConcMarkSweepGC”

export HBASE_OPTS=”$HBASE_OPTS -Djava.security.auth.login.config=/etc/hbase/conf/zk-jaas.conf”

export HBASE_MANAGES_ZK=false

zookeeper 配置文件 (仅末尾两行是 hbase 配置所需追加的)：/usr/lib/zookeeper/conf/zoo.cfg

maxClientCnxns=50

tickTime=2000

initLimit=5

syncLimit=2

dataDir=/var/lib/zookeeper

clientPort=2181

server.1=cdh01.hypers.com:2888:3888

server.2=cdh02.hypers.com:2888:3888

server.3=cdh03.hypers.com:2888:3888

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider

jaasLoginRenew=3600000

kerberos.removeHostFromPrincipal=true

kerberos.removeRealmFromPrincipal=true

—————————————————–End—————————————————–

Hadoop+HBase 搭建云存储总结 PDF http://www.linuxidc.com/Linux/2013-05/83844.htm

HBase 结点之间时间不一致造成 regionserver 启动失败 http://www.linuxidc.com/Linux/2013-06/86655.htm

Hadoop+ZooKeeper+HBase 集群配置 http://www.linuxidc.com/Linux/2013-06/86347.htm

Hadoop 集群安装 &HBase 实验环境搭建 http://www.linuxidc.com/Linux/2013-04/83560.htm

基于 Hadoop 集群的 HBase 集群的配置 http://www.linuxidc.com/Linux/2013-03/80815.htm‘

Hadoop 安装部署笔记之 -HBase 完全分布模式安装 http://www.linuxidc.com/Linux/2012-12/76947.htm

单机版搭建 HBase 环境图文教程详解 http://www.linuxidc.com/Linux/2012-10/72959.htm

参考文档说明 (hortonworks 会简称 hdp；cloudera 则 cdh)：

1、系统模板创建，由于笔者在 openvz 官方搜到的是 centos6.5 的模板，由于之前在测试环境时尽量和生产保持一致，因此要使用 CentOS6.3，所以，笔记根据官方文档自动，自行创建了一个模板，链接如下：http://openvz.org/Creating_a_CentOS_6_Template

2、安装集群参考的 cdh 官方文档：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/CDH5-Installation-Guide.html

3、kerberos 和 hadoop 的整合阶段大量参考了 hortonworks 的文档，因为 cloudera 的文档给笔者的感觉就是假设这些都是 OK 的 (简直丧心病狂 …)，具体链接如下：

hortonworks 的 kerberos 配置链接：http://docs.hortonworks.com/HDPDocuments/Ambari-1.6.1.0/bk_ambari_security/content/index.html

cloudera 的 kerberos 配置链接：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Security-Guide/CDH5-Security-Guide.html

kerberos 官网：http://web.mit.edu/kerberos/krb5-latest/doc/

4、本次主要参考 cloudera 的文档及 hbase 官方文档 (因为在安装 thrift 和 rest 时，cdh 未提及相关配置导致无法启动 …)，相关链接如下：

cdh 的文档：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Installation-Guide/cdh5ig_hbase_installation.html

cdh 的 hbase 和 kerberos 部署整合的文档：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-Security-Guide/cdh5sg_hbase_security.html

hbase 官方文档：http://hbase.apache.org/book/security.html

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完

星哥玩云-微信公众号