SparkSQL读取Hive中的数据

220次阅读

共计 1976 个字符，预计需要花费 5 分钟才能阅读完成。

由于我 Spark 采用的是 Cloudera 公司的 CDH，并且安装的时候是在线自动安装和部署的集群。最近在学习 SparkSQL，看到 SparkSQL on HIVE。下面主要是介绍一下如何通过 SparkSQL 在读取 HIVE 的数据。

（说明：如果不是采用 CDH 在线自动安装和部署的话，可能需要对源码进行编译，使它能够兼容 HIVE。

编译的方式也很简单，只需要在 Spark_SRC_home（源码的 home 目录下）执行如下命令：

./make-distribution.sh –tgz -PHadoop-2.2 -Pyarn -DskipTests -Dhadoop.version=2.6.0-cdh5.4.4 -Phive

编译好了之后，会在 lib 目录下多几个 jar 包。）

下面我主要介绍一下我使用的情况：

1、为了让 Spark 能够连接到 Hive 的原有数据仓库，我们需要将 Hive 中的 hive-site.xml 文件拷贝到 Spark 的 conf 目录下，这样就可以通过这个配置文件找到 Hive 的元数据以及数据存放。

在这里由于我的 Spark 是自动安装和部署的，因此需要知道 CDH 将 hive-site.xml 放在哪里。经过摸索。该文件默认所在的路径是：/etc/hive/conf 下。

同理，spark 的 conf 也是在 /etc/spark/conf。

此时，如上所述，将对应的 hive-site.xml 拷贝到 spark/conf 目录下即可

如果 Hive 的元数据存放在 Mysql 中，我们还需要准备好 Mysql 相关驱动，比如：mysql-connector-java-5.1.22-bin.jar。

2、编写测试代码

val conf=new SparkConf().setAppName(“Spark-Hive”).setMaster(“local”)
val sc=new SparkContext(conf)

//create hivecontext
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql(“CREATE TABLE IF NOT EXISTS src (key INT, value STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ “) // 这里需要注意数据的间隔符

sqlContext.sql(“LOAD DATA INPATH ‘/user/liujiyu/spark/kv1.txt’ INTO TABLE src “);

sqlContext.sql(” SELECT * FROM jn1″).collect().foreach(println)

sc.stop()

3、下面列举一下出现的问题：

（1）如果没有将 hive-site.xml 拷贝到 spark/conf 目录下，会出现：

SparkSQL 读取 Hive 中的数据