共计 2217 个字符,预计需要花费 6 分钟才能阅读完成。
RHive 是一种通过 HIVE 高性能查询来扩展 R 计算能力的包。它可以在 R 环境中非常容易的调用 HQL,也允许在 Hive 中使用 R 的对象和函数。理论上数据处理量可以无限扩展的 Hive 平台,搭配上数据挖掘的利器 R 环境,堪称是一个完美的大数据分析挖掘的工作环境。
资源包下载地址 :
—————————————— 分割线 ——————————————
FTP 地址:ftp://ftp1.linuxidc.com
用户名:ftp1.linuxidc.com
密码:www.linuxidc.com
在 2015 年 LinuxIDC.com\7 月 \CentOS 安装 R 集成 Hadoop、RHive 配置安装手册
下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm
—————————————— 分割线 ——————————————
安装
首先 hadoop 以及 hive 的安装这里就跳过了。这里主要介绍在 Centos 中如何安装 R 语言以及如何集成 Rhive 到 hadoop 中。
本次实验节点有 8 个因此我们需要在每个节点中安装 R 以及相应的其他模块首先我们来看看如何安装 R
下载资源包中的 R-3.2.0.tar.gz 并解压
编译前确保安装如下模块
执行命令:
yum install gcc-gfortran gcc gcc-c++ libXt-devel openssl-devel readline-devel
RHive 依赖于 Rserve,因此在编译安装 R 的时候主要使用参数 –disable-nls –enable-R-shlib:
cd R-3.2.0/
./configure –disable-nls –enable-R-shlib
make
make install
cd ../
执行 R 命令进行 rJava、RHive 等模块的安装
R CMD INSTALL rJava_0.9-6.tar.gz
R CMD INSTALL Rserve_1.8-3.tar.gz
R CMD INSTALL RHive_2.0-0.2.tar.gz
说明:如果你有多个节点,请在每个节点 和 master 中均安装上述模块
到此安装结束,我们进入环境配置部分。
配置
1. 新建 RHIVE 数据存储路径(本地的非 HDFS)
我这里保存在 /www/store/rhive/data
2. 新建 Rserv.conf 文件并写入“remote enable”保存到你指定的目录
我这里存放在 /www/cloud/R/Rserv.conf
3. 修改各个节点以及 master 的 /etc/profile 新增环境变量
export RHIVE_DATA=/www/store/rhive/data
4. 将 R 目录下的 lib 目录中所有文件上传至 HDFS 中的 /rhive/lib 目录下(如果目录不存在手工新建一下即可)
cd /usr/local/lib64/R/lib
hadoop fs -put ./* /rhive/lib
启动
1. 在所有节点和 master 上执行
R CMD Rserve –RS-conf /www/cloud/R/Rserv.conf
telnet cloud01 6311
然后在 Master 节点 telnet 所有 slave 节点,显示 Rsrv0103QAP1 则表示连接成功
2. 启动 hive 远程服务:rhive 是通过 thrift 连接 hiveserver 的,需要要启动后台 thrift 服务,即:在 hive 客户端启动 hive 远程服务, 如果已经开启了跳过本步骤
nohup hive –service hiveserver &
Rhive 测试
library(RHive)
rhive.connect(“master”, 10000,hiveServer2=TRUE)
完毕!
最后附上 RHive 相关文档地址 https://github.com/nexr/RHive/wiki/User-Guide
Hive 编程指南 PDF 中文高清版 http://www.linuxidc.com/Linux/2015-01/111837.htm
基于 Hadoop 集群的 Hive 安装 http://www.linuxidc.com/Linux/2013-07/87952.htm
Hive 内表和外表的区别 http://www.linuxidc.com/Linux/2013-07/87313.htm
Hadoop + Hive + Map +reduce 集群安装部署 http://www.linuxidc.com/Linux/2013-07/86959.htm
Hive 本地独立模式安装 http://www.linuxidc.com/Linux/2013-06/86104.htm
Hive 学习之 WordCount 单词统计 http://www.linuxidc.com/Linux/2013-04/82874.htm
Hive 运行架构及配置部署 http://www.linuxidc.com/Linux/2014-08/105508.htm
Hive 的详细介绍 :请点这里
Hive 的下载地址 :请点这里
本文永久更新链接地址 :http://www.linuxidc.com/Linux/2015-07/119760.htm