共计 3031 个字符,预计需要花费 8 分钟才能阅读完成。
配置机器 hostname
vi /etc/hostname 增加 S1PA11
再执行 # hostname
S1PA11 –– 修改成功
打开 hosts 文件 并修改关联关系:
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
增加下面两行( 本地和另一台机器 IP 和 hostname)
10.58.44.47 S1PA11
10.126.45.56 S1PA222
ping S1PA222
PING S1PA222 (10.126.45.56) 56(84) bytes of data.
64 bytes from S1PA222 (10.126.45.56): icmp_seq=1 ttl=62 time=0.235 ms
64 bytes from S1PA222 (10.126.45.56): icmp_seq=2 ttl=62 time=0.216 ms
64 bytes from S1PA222 (10.126.45.56): icmp_seq=3 ttl=62 time=0.276 ms
ping S1PA11
PING S1PA11 (10.58.44.47) 56(84) bytes of data.
64 bytes from S1PA11 (10.58.44.47): icmp_seq=1 ttl=62 time=0.268 ms
64 bytes from S1PA11 (10.58.44.47): icmp_seq=2 ttl=62 time=0.273 ms
目前 两台机器是可以通信的
ssh 免密码验证配置
首先在 S1PA11 机器配置(该机器是 master)
进去.ssh 文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
生成秘钥 ssh-keygen : ssh-keygen -t rsa , 一路狂按回车键就可以了
最终生成(id_rsa,id_rsa.pub 两个文件)
生成 authorized_keys 文件:[spark@S1PA11 .ssh]$ cat id_rsa.pub >> authorized_keys
在另一台机器 S1PA222(slave 机器)也生成公钥和秘钥
步骤跟 S1PA11 是类似的
进去.ssh 文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
生成秘钥 ssh-keygen :ssh-keygen -t rsa , 一路狂按回车键就可以了
最终生成(id_rsa,id_rsa.pub 两个文件)
将 S1PA222 机器的 id_rsa.pub 文件 copy 到 S1PA11 机器:[spark@S1PA222 .ssh]$ scp id_rsa.pub spark@10.58.44.47:~/.ssh/id_rsa.pub_sl
此切换到机器 S1PA11 合并 authorized_keys; [spark@S1PA11 .ssh]$ cat id_rsa.pub_sl >> authorized_keys
将 authorized_keyscopy 到 S1PA222 机器(/home/spark/.ssh):[spark@S1PA11 .ssh]$ scp authorized_keys spark@10.126.45.56:~/.ssh/
现在讲两台机器 .ssh/ 文件夹权限改为 700,authorized_keys 文件权限改为 600(or 644)
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
OK 完成以上操作后 可以开始 ssh 验证了
S1PA11j 机器 sshS1PA222
[spark@S1PA11 .ssh]$ ssh S1PA222
Last login: Mon Jan 5 15:18:58 2015 from s1pa11
[spark@S1PA222 ~]$ exit
logout
Connection to S1PA222 closed.
[spark@S1PA11 .ssh]$ ssh S1PA222
Last login: Mon Jan 5 15:46:00 2015 from s1pa11
S1PA222 机器 ssh S1PA11
Connection to S1PA11 closed.
[spark@S1PA222 .ssh]$ ssh S1PA11
Last login: Mon Jan 5 15:46:43 2015 from s1pa222
[spark@S1PA11 ~]$ exit
顺利完成 ssh 免密码验证
PS:异常问题处理
1、ssh localhost:publickey 授权失败
sudo vi /etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
service sshd restart
注:ssh 可同时支持 publickey 和 password 两种授权方式,publickey 默认不开启,需要配置为 yes。
如果客户端不存在.ssh/id_rsa,则使用 password 授权;存在则使用 publickey 授权;
如果 publickey 授权失败,依然会继续使用 password 授权。
不要设置 PasswordAuthentication no,它的意思是禁止密码登录,这样就只能本机登录了!
2、vi /etc/selinux/config
SELINUX=disabled
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
最后重启你的 linux 执行 ssh localhost
3、ssh ip 或 hostname 均提示:connection refused
目标主机的 ssh server 端程序是否安装、服务是否启动,是否在侦听 22 端口;
是否允许该用户登录;
本机是否设置了 iptables 规则,禁止了 ssh 的连入 / 连出;
————————————– 分割线 ————————————–
Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm
CentOS 6.2(64 位) 下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm
Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm
安装 Spark 集群 (在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm
Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm
Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm
Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm
————————————– 分割线 ————————————–
Spark 的详细介绍 :请点这里
Spark 的下载地址 :请点这里