共计 798 个字符,预计需要花费 2 分钟才能阅读完成。
前言
在安装
Spark
之前,我们需要安装Scala
语言的支持。在此我选择的是scala-2.11.7
版本。
scala-2.11.7
下载
为了方便,我现在我的 SparkMaster
主机上先安装,把目录打开到 /usr
目录下,与我的 Java
目录相一致。
wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz
下载之后解压
tar -zxvf scala-2.11.7.tgz
解压之后删除源文件
rm -rf scala-2.11.7.tgz
配置环境
在此需要打开 /etc/profile
文件进行配置
vi /etc/profile
在文件的最后插入
export SCALA_HOME=/usr/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
插入了之后要使得命令生效,需要的是:
source /etc/profile
检测是否安装成功
scala -version
配置其他 Slave
主机也安装scala
在此我选择在 SparkMaster
上使用 rsync
命令将 /usr/scala-2.11.7/
目录复制到其他 SparkWorker
上,另外 /etc/profile
文件也同样。
rsync -av /usr/scala-2.11.7/ SparkWorker1:/usr/scala-2.11.7/
rsync -av /usr/scala-2.11.7/ SparkWorker2:/usr/scala-2.11.7/
结言
其实复制的时候多种方式,可以使用
scp
,但是发现rsync
这个命令超级好用,故在此使用rsync
进行复制。至此,三台的主机的scale
文件已经配置好了。已经挺晚的了,明天再进行配置spark
环境吧。
本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-08/146214.htm
正文完
星哥玩云-微信公众号