共计 2670 个字符,预计需要花费 7 分钟才能阅读完成。
1 安装准备
下载最新稳定版的 Hive,资源库 http://mirror.esocc.com/apache/hive/
本文以当前的稳定版本 0.11 为例子,介绍基本的安装步骤。
$>tar -xvf hive-0.11.0.tar.gz
$>mv hive-0.11.0hive
# 移动到指定的目录下
$>mvhive /opt/
这个教程的软件版本信息:
Hadoop-2.2.0 集群
HBase-0.94.14 集群
Zookeeper-3.4.5 集群
Hive-0.11
2 配置
将 Hive 配置到环境变量中,hive 用户下,输入下列命令:
$ vim~/.bashrc
exportJAVA_HOME=/usr/lib/jvm/jdk1.6.0_43
exportHADOOP_HOME=/opt/hadoop
exportHADOOP_MAPARED_HOME=${HADOOP_HOME}
exportHADOOP_COMMON_HOME=${HADOOP_HOME}
exportHADOOP_HDFS_HOME=${HADOOP_HOME}
exportYARN_HOME=${HADOOP_HOME}
exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
exportHDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
exportYARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
exportHBASE_HOME=/opt/hbase
exportZOOKEEPER_HOME=/opt/zookeeper
#eclipsehome
exportE_HOME=/opt/eclipse
#hive
export HIVE_HOME=/opt/hive
exportPATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$E_HOME:$HIVE_HOME/bin:
将当前运行的 HBase 和 Zookeeper 的 jar 包复制到 Hive 目录 lib 下,比如 hbase-0.94.14.jar、zookeeper-3.4.5.jar。删除原来版本的 jar 包,请一定保持 hbase 版本一致。
将 hadoop 和 hbase 配置文件复制到 hive 目录下,比如 core-site.xml,hdfs-site.xml,yarn-site.xml,hbase-site.xml 等(有的配置文件可能没有什么用,也可以不用添加到 hive 的 conf 下)。
3 测试
假设要创建一个外部表 hbasehive_table,实现查询 HBase 中的数据。测试过程可以按照下面的步骤:
3.1 HBase 表的创建和初始化
在 HBase shell 命令下,执行下列脚本:
create’hivehbase’, ‘ratings’
put’hivehbase’, ‘row1’, ‘ratings:userid’, ‘user1’
put’hivehbase’, ‘row1’, ‘ratings:bookid’, ‘book1’
put’hivehbase’, ‘row1’, ‘ratings:rating’, ‘1’
put’hivehbase’, ‘row2’, ‘ratings:userid’, ‘user2’
put’hivehbase’, ‘row2’, ‘ratings:bookid’, ‘book1’
put’hivehbase’, ‘row2’, ‘ratings:rating’, ‘3’
put’hivehbase’, ‘row3’, ‘ratings:userid’, ‘user2’
put’hivehbase’, ‘row3’, ‘ratings:bookid’, ‘book2’
put’hivehbase’, ‘row3’, ‘ratings:rating’, ‘3’
put’hivehbase’, ‘row4’, ‘ratings:userid’, ‘user2’
put’hivehbase’, ‘row4’, ‘ratings:bookid’, ‘book4’
put’hivehbase’, ‘row4’, ‘ratings:rating’, ‘1’
3.2 创建 Hive 外部表
在 Hive shell 命令下,执行下列脚本:
$ CREATE EXTERNAL TABLE hbasehive_table
(key string, userid string,bookid string,ratingint)
STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES
(“hbase.columns.mapping” =”:key,ratings:userid,ratings:bookid,ratings:rating”)
TBLPROPERTIES(“hbase.table.name” =”hivehbase”);
如果执行成功,并且没有出现任何的异常信息。执行 Hive 查询,出现下列结果就证明安装 Hive 成功。
hive>select * from hbasehive_table;
OK
row1 user1 book1 1
row2 user2 book1 3
row3 user2 book2 3
row4 user2 book4 1
Time taken: 0.254 seconds, Fetched: 4 row(s)
HBase 的详细介绍:请点这里
HBase 的下载地址:请点这里
相关阅读:
Hadoop+HBase 搭建云存储总结 PDF http://www.linuxidc.com/Linux/2013-05/83844.htm
HBase 结点之间时间不一致造成 regionserver 启动失败 http://www.linuxidc.com/Linux/2013-06/86655.htm
Hadoop+ZooKeeper+HBase 集群配置 http://www.linuxidc.com/Linux/2013-06/86347.htm
Hadoop 集群安装 &HBase 实验环境搭建 http://www.linuxidc.com/Linux/2013-04/83560.htm
基于 Hadoop 集群的 HBase 集群的配置 http://www.linuxidc.com/Linux/2013-03/80815.htm‘