共计 6236 个字符,预计需要花费 16 分钟才能阅读完成。
1、安装 JDK1.6 或更高版本
官网下载 JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置 Hadoop 的配置文件时会找不到 JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。
2、安装 Cygwin
Cygwin 是 Windows 平台下模拟 Unix 环境的工具,需要在安装 Cygwin 的基础上安装 Hadoop,下载地址:http://www.cygwin.com/
根据操作系统的需要下载 32 位或 64 的安装文件。
1)、双击下载好的安装文件,点击下一步,选择 install from internet
2)、选择安装路径
3)、选择 local Package Directory
4)、选择您的 Internet 连接方式
5)、选择合适的安装源,点击下一步
6)、在 Select Packages 界面里,Category 展开 net,选择如下 openssh 和 openssl 两项
如果要在 Eclipe 上编译 Hadoop,需要安装 Category 为 Base 下的 sed
如果想在 Cygwin 上直接修改 hadoop 的配置文件,可以安装 Editors 下的 vim
7)、点击“下一步”,等待安装完成。
3、配置环境变量
在“我的电脑”上点击右键,选择菜单中的“属性 ”,点击属性对话框上的高级页签,点击”环境变量 ” 按钮,在系统变量列表里双击“Path”变量,在变量值后输入安装的 Cygwin 的 bin 目录,例如:D:\hadoop\cygwin64\bin
4、安装 sshd 服务
双击桌面上的 Cygwin 图标,启动 Cygwin,执行 ssh-host-config - y 命令
执行后,会提示输入密码,否则会退出该配置,此时输入密码和确认密码,回车。最后出现 Host configuration finished.Have fun! 表示安装成功。
输入 net start sshd,启动服务。或者在系统的服务里找到并启动 Cygwin sshd 服务。
可能会遇到无法安装和启动 sshd 服务的问题,可参考此连接 http://www.cnblogs.com/kinglau/p/3261886.html。
另外如果是 Win8 操作系统,启动 Cygwin 时,需要以管理员身份运行(右键图标,选择以管理员身份运行),否则会因为权限问题,提示“发生系统错误 5”。
5、配置 SSH 免密码登录
执行 ssh-keygen 命令生成密钥文件
如下图所示,输入:ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa,注意 -t -P - f 参数区分大小写。
ssh-keygen 是生成密钥命令
-t 表示指定生成的密钥类型 (dsa,rsa)
- P 表示提供的密语
- f 指定生成的密钥文件。
注意:~ 代表当前用户的文件夹,/home/ 用户名
执行此命令后,在你的 Cygwin\home\ 用户名 路径下面会生成.ssh 文件夹,可以通过命令 ls -a /home/ 用户名 查看,ssh -version 命令查看版本。
执行完 ssh-keygen 命令后,再执行下面命令,就可以生成 authorized_keys 文件了。
cd ~/.ssh/
cp id_dsa.pub authorized_keys
如下图所示:
然后执行 exit 命令,退出 Cygwin 窗口
6、再次在桌面上双击 Cygwin 图标,打开 Cygwin 窗口,执行 ssh localhost 命令,第一次执行该命令会有提示,输入 yes 后,回车即可。如下图所示
CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm
更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2015-01/112374p2.htm
7、安装 Hadoop
hadoop 官网下载 http://hadoop.apache.org/releases.html。
把 hadoop 压缩包解压到 /home/ 用户名 目录下,文件夹名称更改为 hadoop,可以不修改,但后边在执行命令时稍显麻烦。
(1)单机模式配置方式
单机模式不需要配置,这种方式下,Hadoop 被认为是一个单独的 Java 进程,这种方式经常用来调试。
(2)伪分布模式
可以把伪分布模式看作是只有一个节点的集群,在这个集群中,这个节点既是 Master,也是 Slave,既是 NameNode,也是 DataNode,既是 JobTracker,也是 TaskTracker。
这种模式下修改几个配置文件即可。
配置 hadoop-env.sh,记事本打开改文件,设置 JAVA_HOME 的值为你的 JDK 安装路径,例如:
JAVA_HOME=”D:\hadoop\Java\jdk1.7.0_25″
配置 core-site.xml
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”https://www.linuxidc.com/Linux/2015-01/configuration.xsl”?>
<!– Put site-specific property overrides in this file. –>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapred.child.tmp</name>
<value>/home/u/hadoop/tmp</value>
</property>
</configuration>
配置 hdfs-site.xml
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”https://www.linuxidc.com/Linux/2015-01/configuration.xsl”?>
<!– Put site-specific property overrides in this file. –>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置 mapred-site.xml
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”https://www.linuxidc.com/Linux/2015-01/configuration.xsl”?>
<!– Put site-specific property overrides in this file. –>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.child.tmp</name>
<value>/home/u/hadoop/tmp</value>
</property>
</configuration>
8、启动 Hadoop
打开 Cgywin 窗口,执行 cd ~/hadoop 命令,进入 hadoop 文件夹,如下图:
启动 Hadoop 前,需要先格式化 Hadoop 的文件系统 HDFS,执行命令:bin/hadoop namenode -format
注意 namenode 要小些,否则如果输入 NameNode,会提示错误,找不到或无法加载主类 NameNode。执行正确命令后如下图所示:
输入命令 bin/start-all.sh,启动所有进程,如下图:
接下来,验证是否安装成功
打开浏览器,分别输入下列网址,如果能够正常浏览,说明安装成功。
http://localhost:50030,回车打开 MapReduce 的 web 页面,如下图(页面部分截图):
http://localhost:50070,回车打开 HDFS 的 web 页面,如下图(页面部分截图):
第一次启动后,如果都不能浏览,或不能浏览某一个,退出 Cygwin,重新打开 Cygwin,执行 bin/start-all.sh 命令。
如果只想启动 MapReduce,可执行 bin/start-mapred.sh 命令。
如果只想启动 HDFS,可执行 bin/start-dfs.sh 命令。
更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
1、安装 JDK1.6 或更高版本
官网下载 JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置 Hadoop 的配置文件时会找不到 JDK(按相关说法,配置文件中的路径加引号即可解决,但我没测试成功)。
2、安装 Cygwin
Cygwin 是 Windows 平台下模拟 Unix 环境的工具,需要在安装 Cygwin 的基础上安装 Hadoop,下载地址:http://www.cygwin.com/
根据操作系统的需要下载 32 位或 64 的安装文件。
1)、双击下载好的安装文件,点击下一步,选择 install from internet
2)、选择安装路径
3)、选择 local Package Directory
4)、选择您的 Internet 连接方式
5)、选择合适的安装源,点击下一步
6)、在 Select Packages 界面里,Category 展开 net,选择如下 openssh 和 openssl 两项
如果要在 Eclipe 上编译 Hadoop,需要安装 Category 为 Base 下的 sed
如果想在 Cygwin 上直接修改 hadoop 的配置文件,可以安装 Editors 下的 vim
7)、点击“下一步”,等待安装完成。
3、配置环境变量
在“我的电脑”上点击右键,选择菜单中的“属性 ”,点击属性对话框上的高级页签,点击”环境变量 ” 按钮,在系统变量列表里双击“Path”变量,在变量值后输入安装的 Cygwin 的 bin 目录,例如:D:\hadoop\cygwin64\bin
4、安装 sshd 服务
双击桌面上的 Cygwin 图标,启动 Cygwin,执行 ssh-host-config - y 命令
执行后,会提示输入密码,否则会退出该配置,此时输入密码和确认密码,回车。最后出现 Host configuration finished.Have fun! 表示安装成功。
输入 net start sshd,启动服务。或者在系统的服务里找到并启动 Cygwin sshd 服务。
可能会遇到无法安装和启动 sshd 服务的问题,可参考此连接 http://www.cnblogs.com/kinglau/p/3261886.html。
另外如果是 Win8 操作系统,启动 Cygwin 时,需要以管理员身份运行(右键图标,选择以管理员身份运行),否则会因为权限问题,提示“发生系统错误 5”。
5、配置 SSH 免密码登录
执行 ssh-keygen 命令生成密钥文件
如下图所示,输入:ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa,注意 -t -P - f 参数区分大小写。
ssh-keygen 是生成密钥命令
-t 表示指定生成的密钥类型 (dsa,rsa)
- P 表示提供的密语
- f 指定生成的密钥文件。
注意:~ 代表当前用户的文件夹,/home/ 用户名
执行此命令后,在你的 Cygwin\home\ 用户名 路径下面会生成.ssh 文件夹,可以通过命令 ls -a /home/ 用户名 查看,ssh -version 命令查看版本。
执行完 ssh-keygen 命令后,再执行下面命令,就可以生成 authorized_keys 文件了。
cd ~/.ssh/
cp id_dsa.pub authorized_keys
如下图所示:
然后执行 exit 命令,退出 Cygwin 窗口
6、再次在桌面上双击 Cygwin 图标,打开 Cygwin 窗口,执行 ssh localhost 命令,第一次执行该命令会有提示,输入 yes 后,回车即可。如下图所示
CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm
更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2015-01/112374p2.htm