共计 1483 个字符,预计需要花费 4 分钟才能阅读完成。
对于 Spark 而言,如果大家只是想摸一下、熟悉熟悉而已,可以搭建单机的 Spark,大致步骤如下(我使用 VMWare 下的 Ubuntu 14.04,暂不考虑安全问题,在 root 下运行):
1、安装 Ubuntu 14.04,注意装好后需要禁用防火墙(ufw disable),安装 SSH 服务器,启用 root 用户
2、下载安装 JDK-1.8、scala 2.11.8(需要和 spark 的 jar 版本配合下,这个其实不是很必要,练习用)、spark、maven(build 用,这里的 scala 版本需要和 spark 的一致,否则可能出现 ClassNotDef 异常)
3、在.profile 中配置环境变量,如:
export SPARK_HOME=/root/spark-2.2.0-bin-Hadoop2.7
export SPARK_LOCAL_HOST=192.168.162.132
export SPARK_MASTER_HOST=192.168.162.132
4、启动 spark:
$SPARK_HOME/sbin/start-master.sh
# 在单机情况下也必须启动,否则没有 worker
$SPARK_HOME/sbin/start-slave.sh
5、使用 maven 编译一个示例程序(当然 sbt 也可以)
6、提交你的测试程序,如下:
$SPARK_HOME/spark-submit –class “ 类名 ” –master spark://IP:Port 打包文件名
另外,注意的一点是需要在 /etc/hosts 和 /etc/hostname 中正确配置主机名,否则可能出现 IOException
更多 Spark 相关教程见以下内容:
CentOS 7.0 下安装并配置 Spark http://www.linuxidc.com/Linux/2015-08/122284.htm
Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm
Spark2.0 安装配置文档 http://www.linuxidc.com/Linux/2016-09/135352.htm
Spark 1.5、Hadoop 2.7 集群环境搭建 http://www.linuxidc.com/Linux/2016-09/135067.htm
Spark 官方文档 – 中文翻译 http://www.linuxidc.com/Linux/2016-04/130621.htm
CentOS 6.2(64 位)下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm
Spark-2.2.0 安装和部署详解 http://www.linuxidc.com/Linux/2017-08/146215.htm
Spark2.0.2 Hadoop2.6.4 全分布式配置详解 http://www.linuxidc.com/Linux/2016-11/137367.htm
Ubuntu 14.04 LTS 安装 Spark 1.6.0(伪分布式)http://www.linuxidc.com/Linux/2016-03/129068.htm
Spark 的详细介绍:请点这里
Spark 的下载地址:请点这里
更多 Oracle 相关信息见Oracle 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=12
本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-10/147220.htm