共计 1431 个字符,预计需要花费 4 分钟才能阅读完成。
这里是结合 Hadoop2.0 使用的
1,download :http://spark.incubator.apache.org/downloads.html 选择 prebuilt: 中 hadoop2 的下载,hadoop 安装就不介绍了,spark 节点可以不是 hadoop 节点,可以是一个 hadoop 客户端。
2,download scala,http://www.scala-lang.org/download/all.html 根据下载的 spark 的 README 中的描述下载合适的版本
3,安装 其实就是解压,配置 /etc/profile 环境变量
export SPARK_HOME=/data1/spark/spark
export SCALA_HOME=/data1/spark/scala-2.9.3
export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin
配置 spark 的 conf 下的 spark-env.sh
export Java_HOME=/usr/java/default
export SCALA_HOME=/data1/spark/scala-2.9.3
export SPARK_MASTER_IP=192.168.0.1
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_WEBUI_PORT=8000
export YARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop
配置 slaves(ip 根据需要修改)
192.168.0.2
192.168.0.3
分发 spark 目录和 scala 目录到几台服务器相同路径下
4, 启动
进入主节点的 spark 目录的 bin 下 stop-all.sh 是停掉集群,start-all.sh 启动集群,jps 可以在主节点看到 master 进程,slave 节点看到 worker 进程
5,运行程序,运行例子进入 spark 目录下
分布式运行
./run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077
./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1:7077
本地运行
./run-example org.apache.spark.examples.SparkPi local
./run-example org.apache.spark.examples.SparkLR local
Spark 的详细介绍 :请点这里
Spark 的下载地址 :请点这里
相关阅读 :
Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm
安装 Spark 集群 (在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm
Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm
Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm
Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm