共计 4470 个字符,预计需要花费 12 分钟才能阅读完成。
基本的软硬件配置:
x86 台式机,Windows 7 64 位系统
vb 虚拟机 (x86 的台式机至少是 4G 内存,才能开 3 台虚机)
CentOS6.4 操作系统
Hadoop-1.1.2.tar.gz
jdk-6u24-linux-i586.bin
WinScp 远程文件传输工具,很好用。可以用于 windows 和虚拟机 Linux 之间文件相互拷贝。
一、root 下的配置
a) 修改主机名:vi /etc/sysconfig/network
Master,slave1,slave2
b) 解析 Ip: vi /etc/hosts
192.168.8.100 master
192.168.8.101 slave1
192.168.8.102 slave2
c) 调试网络:
采用网桥连接网络,配置网络。
修改后记得调用 service network restart
确保三台虚拟机能够相互 ping 通。
d) 关闭防火墙
查看:service iptables status
关闭:service iptables stop
查看防火墙有无自启动:
Chkconfig –-list | grepiptables
关闭自启动:
Chkconfig iptables off
二、yao 用户下的配置
a) 创建用户 yao, 设置密码,进入用户
useradd yao
passwd 123456
b) master 创建公私秘钥
ssh-keygen –t rsa
1) 将 id_rsa.pub 复制给 authorized_keys
Cp id_rsa.pub authorized_keys
2) 将 master 中的 authorized_keys 复制给 slave1 的 /home 下
scp id_rsa.pub root@192.168.8.101:/home
3) 将 master 拷贝过来的 authorized_keys 复制到 slave1 本身所创的 authorized_keys 下,同理 slave2 的也是。最后达到任一个 authorized_keys 中都包含所有机组的公钥。
4) 将 hadoop 拷贝复制到对应的机子中 /home/yao/Documents/
在 root 下配置环境变量:vi /etc/profile
export HADOOP_HOME=/home/yao/Documents/hadoop
export HADOOP_HOME_WARN_SUPPRESS=1
export PATH=.:$PATH:$HADOOP_HOME
注:su + 用户名实现切换用户。
5)安装 jdk, 解压时需要授权;
Chmod u+x jdk。。。
解压。
配置环境变量:vi /etc/profile
6)修改 /hadoop/conf 下的配置文件
修改 core-site.xml
修改 hdfs-site.xml
更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-05/102533p2.htm
————————————– 分割线 ————————————–
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm
Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm
————————————– 分割线 ————————————–
三、拷贝 Hadoop
上述 master 中的 hadoop 配置基本完成了,由于 namenode 节点上的 hadoop 配置是相同的,所以现在将 master 上的 hadoop 分别拷贝到 slave1 和 slave2 上。
命令:
Scp -r ./hadoop yao@slave1:/home/yao/
Scp -r ./hadoop yao@slave2:/home/yao/
拷贝完成后,在 master 机器上 hadoop 目录下执行:
格式化:Bin/hadoop namenode -format
下一步,执行启动:
Bin/start-all.sh
在 slave1 中,输入 jps:
类似的在 slave2 中,输入 jps,也能得到同样的结果:
总结:
配置这种全分布式的 hadoop 集群,分为几个步骤:
1)配置 Hosts 文件
2)建立 Hadoop 运行账号
3)配置 ssh 免密码连入
4)下载并解压 hadoop 安装包
5)配置 namenode, 修改 site 文件
6)配置 hadoop-env.sh
7)配置 masters, 和 slaves 文件
8)向个节点复制 hadoop
9)格式化 namenode
10)启动 hadoop
11)用 jps 检验各后台进程是否成功启动
注:不能眼高手低,从装机开始,每一步都会遇到各种各样的问题需要解决。这是个熟悉指令和 hadoop 文件机制的过程。
伪分布式
伪分布式的搭建是非常简单的,因为它是单一的节点,上述步骤只需要:
1)建立 Hadoop 运行账号
2)配置 ssh 免密码连入(单一节点,只要将 id_rsa.pub 复制到 authorized_keys 中就能实现自身免密码)
3)下载并解压 hadoop 安装包
4)下载 jdk,并解压安装
5)修改 site 文件
6)配置 hadoop-env.sh
7)格式化 namenode
8)启动 hadoop
9)用 jps 检验各后台进程是否成功启动
OK, 基本上理解 hadoop 搭建的过程,伪分布和全分布都是很简单的。
更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
基本的软硬件配置:
x86 台式机,Windows 7 64 位系统
vb 虚拟机 (x86 的台式机至少是 4G 内存,才能开 3 台虚机)
CentOS6.4 操作系统
Hadoop-1.1.2.tar.gz
jdk-6u24-linux-i586.bin
WinScp 远程文件传输工具,很好用。可以用于 windows 和虚拟机 Linux 之间文件相互拷贝。
一、root 下的配置
a) 修改主机名:vi /etc/sysconfig/network
Master,slave1,slave2
b) 解析 Ip: vi /etc/hosts
192.168.8.100 master
192.168.8.101 slave1
192.168.8.102 slave2
c) 调试网络:
采用网桥连接网络,配置网络。
修改后记得调用 service network restart
确保三台虚拟机能够相互 ping 通。
d) 关闭防火墙
查看:service iptables status
关闭:service iptables stop
查看防火墙有无自启动:
Chkconfig –-list | grepiptables
关闭自启动:
Chkconfig iptables off
二、yao 用户下的配置
a) 创建用户 yao, 设置密码,进入用户
useradd yao
passwd 123456
b) master 创建公私秘钥
ssh-keygen –t rsa
1) 将 id_rsa.pub 复制给 authorized_keys
Cp id_rsa.pub authorized_keys
2) 将 master 中的 authorized_keys 复制给 slave1 的 /home 下
scp id_rsa.pub root@192.168.8.101:/home
3) 将 master 拷贝过来的 authorized_keys 复制到 slave1 本身所创的 authorized_keys 下,同理 slave2 的也是。最后达到任一个 authorized_keys 中都包含所有机组的公钥。
4) 将 hadoop 拷贝复制到对应的机子中 /home/yao/Documents/
在 root 下配置环境变量:vi /etc/profile
export HADOOP_HOME=/home/yao/Documents/hadoop
export HADOOP_HOME_WARN_SUPPRESS=1
export PATH=.:$PATH:$HADOOP_HOME
注:su + 用户名实现切换用户。
5)安装 jdk, 解压时需要授权;
Chmod u+x jdk。。。
解压。
配置环境变量:vi /etc/profile
6)修改 /hadoop/conf 下的配置文件
修改 core-site.xml
修改 hdfs-site.xml
更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-05/102533p2.htm
————————————– 分割线 ————————————–
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm
Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm
————————————– 分割线 ————————————–