共计 1294 个字符,预计需要花费 4 分钟才能阅读完成。
Hadoop 搭建流程网上有很多,以下是我在搭建 Hadoop 伪分布式环境是遇到的一些比较菜鸟的问题。
相关阅读 :
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm
1、执行 bin/hadoopnamenode –format 时提示没有配置 JAVA_HOME
linux 自带的 SDK 并不是 Sun 公司的 SDK,而是开源的 OpenSDK。为了保险,还是决定重新配置 java 环境,使用 SUN jdk。
2、执行启动命令 bin/start-all.sh 后出现:JAVA_HOMEis not set
但是执行 java -version 后可以看到 java 版本信息,证明系统的 jdk 没有配置错误。
再次检查 hadoop-env.sh 中的配置。发现路径虽然改了,但是那个语句还在注释里(#),我忘记把注释去掉了。(摔!)
3、执行 jps 发现没有启动 NameNode 以及 JobTracker
www.linuxidc.com@www.linuxidc.com:~/hadoop-0.20.2$jps
5457SecondaryNameNode
7491Jps
5672TaskTracker
5323DataNode
根据网友提示,可能是由于运行 hadoop 的用户对 /data/hadoop/name1 这个目录没有访问权限。因此,进入 root 中执行上述命令运行 hadoop,结果显示完全正确,只是每次启动一个 java 程序都要输入密码很麻烦。根据 ppt 提示进行了免密码 ssh 设置
4、输入 hadoop 文件命令的时候总是提示 hadoop 命令未找到,发现应该输入 bin/hadoop 所有的 hadoop 命令由 bin/ hadoop 脚本调用。
PS:(与云计算无关)之前 jdk8 出来了,我就配置在自己的 ubuntu 上了。但是安装 eclipse 和 Android studio 的时候发现各种问题。于是我又配置了系统自带的 OpenJDK。然后 eclipse 和 android studio 就恢复正常了。
更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13