分布式Hadoop1.2.1集群的安装

208次阅读

没有评论

共计 1855 个字符，预计需要花费 5 分钟才能阅读完成。

安装其实很简单，把下载下来的 Hadoop 文件拷贝到相应的目录下，然后接压缩即可，关键是先要安装好 JDK, 前期的 Linux 要配置好。

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

下面我把我的操作过程记录如下，供大家参考:

登录到 HadoopSrv01 机器上，进行如下操作：
1：su – grid
2：tar -xvf hadoop-1.2.1-bin.tar.gz
3：解压缩后，会在 /home/grid 目录下增加一个 hadoop-1.2.1 目录
4：cd hadoop-1.2.1 创建 tmp 目录 mkdir tmp
5：cd conf 目录，对 hadoop-env.sh, core-site.xml，hdfs-site.xml，mapred-site.xml，masters，slaves 文件进行配置

6：修改 hadoop-env.sh 文件，只需要设置 export JAVA_HOME=/usr/java/jdk1.8.0 即可，其他不需要修改。
7：修改 core-site.xml 文件，增加以下内容
<property>
<name>fs.default.name</name>
<value>hdfs://HadoopSrv01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop-1.2.1/tmp</value>
</property>

8：修改 hdfs-site.xml, 根据你自己的 datanode 节点数，设置复制因子。

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

9：修改 mapred-site.xml 文件
<property>
<name>mapred.job.tracker</name>
<value>HadoopSrv01:9001</value>
</property>

10：修改 masters,slaves 增加 namenode,datanode 节点配置。
masters:
HadoopSrv01
slaves:
HadoopSrv02
HadoopSrv03

以上操作完毕后，就可以对 Hadoop 集群进行格式化，格式化的命令如下：

11：bin/hadoop namenode -format 记得要看清楚是否格式化成功

12：启动集群 bin/start-all.sh