Spark集群安装

共计 1431 个字符，预计需要花费 4 分钟才能阅读完成。

这里是结合 Hadoop2.0 使用的

1，download :http://spark.incubator.apache.org/downloads.html 选择 prebuilt: 中 hadoop2 的下载，hadoop 安装就不介绍了，spark 节点可以不是 hadoop 节点，可以是一个 hadoop 客户端。

2，download scala，http://www.scala-lang.org/download/all.html 根据下载的 spark 的 README 中的描述下载合适的版本

3，安装 其实就是解压，配置 /etc/profile 环境变量

export SPARK_HOME=/data1/spark/spark
export SCALA_HOME=/data1/spark/scala-2.9.3

export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin

配置 spark 的 conf 下的 spark-env.sh

export Java_HOME=/usr/java/default
export SCALA_HOME=/data1/spark/scala-2.9.3

export SPARK_MASTER_IP=192.168.0.1

 
export SPARK_MASTER_WEBUI_PORT=8080 
export SPARK_WORKER_WEBUI_PORT=8000

export YARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop

配置 slaves(ip 根据需要修改)

192.168.0.2

192.168.0.3

分发 spark 目录和 scala 目录到几台服务器相同路径下

4, 启动

 进入主节点的 spark 目录的 bin 下 stop-all.sh 是停掉集群，start-all.sh 启动集群，jps 可以在主节点看到 master 进程，slave 节点看到 worker 进程

5，运行程序，运行例子进入 spark 目录下

分布式运行

./run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077

./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1:7077

本地运行

./run-example org.apache.spark.examples.SparkPi local

./run-example org.apache.spark.examples.SparkLR local

Spark 的详细介绍 ：请点这里
Spark 的下载地址 ：请点这里

相关阅读 ：

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群 (在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm