共计 1313 个字符,预计需要花费 4 分钟才能阅读完成。
Spark 搭建环境涉及的 Linux 命令(简单易用型)
从一台服务器负责内容到另一台服务器:scp jdk-6u37-linux-x64.bin spark@10.126.45.56:/home/spark/opt
tar 压缩和解压文件: 压缩 tar -cvf Java.tar.gz java/ 解压: tar -xvf java.tar.gz
配置 java 环境变量:
去各种地方下载 jdk 程序包:jdk-6u37-linux-x64.bin,修改文件执行权限:chmod a+x jdk-6u37-linux-x64.bin, 安装:./jdk-6u37-linux-x64.bin
编辑 vi ~/.bash_profile,增加内容
# set java env
export JAVA_HOME=/home/spark/opt/java/jdk1.6.0_37
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export PATH
保存并 source ~/.bash_profile
[spark@S1PA11 ~]$ ifconfig
-bash: ifconfig: command not found —>> vi ~/.bashrc
在 一般用户的 home 目录下的 文件 .bashrc 加入
export PATH=$PATH:/sbin
然后执行
source .bashrc 就可以执行 ifconfig 命令了。
————————————– 分割线 ————————————–
Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm
CentOS 6.2(64 位)下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm
Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm
安装 Spark 集群(在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm
Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm
Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm
Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm
————————————– 分割线 ————————————–
Spark 的详细介绍:请点这里
Spark 的下载地址:请点这里