阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

spark集群环境搭建

288次阅读
没有评论

共计 2253 个字符,预计需要花费 6 分钟才能阅读完成。

1. 安装 jdk

安装环境:CentOS-7.0.1708
安装方式:源码安装
软件:jdk-6u45-linux-x64.bin
下载地址:http://www.Oracle.com/technetwork/Java/javase/downloads/java-archive-downloads-javase6-419409.html

第一步:更该权限

chmod 775 jdk-6u45-linux-x64.bin

第二步:执行 jdk 安装

./jdk-6u45-linux-x64.bin

第三步:配置环境变量

环境变量的配置分为几种方式, 根据自己的选择配置:

方式一:vi /etc/profile 文件中配置 JAVA_HOME 以及 PATH 和 CLASS_PATH

因为这样的设置将对所有用户的 shell 都生效,对系统安全会产生影响。

就是在这个文件的最后加上:

export JAVA_HOME=/usr/local/softWare/jdk1.6.0_45

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export PATH=$PATH:$JAVA_HOME/bin 

执行 source /etc/profile 是配置立即生效 

方式二:

修改.bashrc 文件来配置环境变量:

#vi .bashrc

export JAVA_HOME=/usr/local/softWare/java/jdk1.6.0_45

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export PATH=$PATH:$JAVA_HOME/bin 

配置完成之后, 使用 logout 命令退出, 然后重新登入使其生效.

验证一下是否安装成功, 使用 java -version 查看一下。

2. 安装 scala
下载路径:https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz scala-2.12.8.tgz
把下载包上传解压
tar -zxvf scala-2.12.8.tgz
rm -rf scala-2.12.8.tgz
配置环境变量
vi /etc/profile
export SCALA_HOME=/usr/local/scala-2.12.8
export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin
复制到其他节点:
scp -r scala-2.12.8 192.168.0.109:/usr/local/
scp -r scala-2.12.8 192.168.0.110:/usr/local/
scp /etc/profile 192.168.0.109:/etc/
scp /etc/profile 192.168.0.110:/etc/
使环境变量生效:source /etc/profile
验证:scala -version

3.ssh 免密码登录
参考 https://blog.51cto.com/13001751/2487972

4. 安装 Hadoop
参考 https://blog.51cto.com/13001751/2487972

5. 安装 spark
把下载包上传解压
cd /usr/local/
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz
cd /usr/local/spark-2.4.5-bin-hadoop2.7/conf/ #进入 spark 配置目录
mv spark-env.sh.template spark-env.sh #从配置模板复制
vi spark-env.sh #添加配置内容
export SPARK_HOME=/usr/local/spark-2.4.5-bin-hadoop2.7
export SCALA_HOME=/usr/local/scala-2.12.8
export JAVA_HOME=/usr/local/jdk1.8.0_191
export HADOOP_HOME=/usr/local/hadoop-2.7.7
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=spark1
SPARK_LOCAL_DIRS=/usr/local/spark-2.4.5-bin-hadoop2.7
SPARK_DRIVER_MEMORY=1G
export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native、
vi slaves
spark2
spark3
scp -r /usr/local/spark-2.4.5-bin-hadoop2.7 root@spark2:/usr/local/
scp -r /usr/local/spark-2.4.5-bin-hadoop2.7 root@spark3:/usr/local/
./sbin/start-all.sh(不可直接 start-all.sh,这个命令是 hadoop 的)

spark 集群环境搭建

spark 集群环境搭建

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计2253字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中