配置Hadoop1.2.1

199次阅读

共计 2421 个字符，预计需要花费 7 分钟才能阅读完成。

1. 从 Apache 官网上下载 1.2.1，地址：http://apache.dataguru.cn/Hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz
2. 拷贝文件到虚拟机下（vm9 下直接拖拽就可以）
3. 到 Hadoop 的目录下的 conf 找到 hadoop-env.sh，找到这行：# export Java_HOME=/usr/lib/j2sdk1.5-sun，解注并改成 JAVA 正确的路径
4. 修改 core-site.xml。默认只有 <configuration></configuration>，需要修改成为：
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/master/hadoop-1.2.1/tmp</value>
</property>
</configuration>
注：要在 hadoop 下新建 tmp 文件夹，用于存放临时文件，如果不设置，hadoop 默认成 /tmp 文件夹，这样重启后 hadoop 就会报错
5. 修改 hdfs-site.xml. 默认只有 <configuration></configuration>，需要修改成为：
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

6. 修改 mapred-site.xml. 默认只有 <configuration></configuration>，需要修改成为：
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>

7. 修改 masters，改成 master(主机名)

8. 修改 slaves，改成 slave1(主机名)

9. 切换到 root 用户下，修改 /etc/hosts 文件，增加 master 和 slave1 的 IP
192.168.37.1 master
192.168.37.2 slave1

10. 配置完成之后，ping master 和 ping slave1

11. 把 master 节点下配置好的 hadoop 复制到 slave1 节点下：scp -r ./hadoop-1.2.1 slave1@slave1:/home/slave1

12. 修改 slave1 节点下的 /etc/hosts 文件和 master 节点一致
192.168.37.1 master
192.168.37.2 slave1

13. 格式化名称节点，即 master 节点，切换到 hadoop 目录，执行命令：bin/hadoop namenode -format

14. 在正式启动 hadoop 之前，要把自己的公匙放到 authorized_keys，这样自动连自己才会不用输入密码。方法是：
cat id_rsa.pub 然后把里面的内容复制出来，vi authorized_keys 把内容粘到里面，保存；两台机器都一样的做法。

15. 改完之后，ssh master，看看是否还需要密码

16. 如果之前已经运行过启动 hadoop，但因为 14 没有做，需要把 hadoop 的进程杀掉，方法：进行 JAVA 主目录，
运行./bin/jps 命令，看有哪些 hadoop 的进程在运行，然后用 kill -9 11133 把屏幕显示的进程杀掉，这样才能顺利的启动。

17. 最后启动：bin/start-all.sh

18. 检查 hadoop 是否安装成功：在 JDK 目录下运行 -bin/jps，出现
11002 SecondaryNameNode
10832 NameNode
11076 JobTracker
11237 Jps
说明安装成功