阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Windows 10下编译安装Hadoop2.6

219次阅读
没有评论

共计 8911 个字符，预计需要花费 23 分钟才能阅读完成。

Windows 10 下安装 Hadoop2.6，Windows10 下编译 64 位 Hadoop2.x。详细记录了 Windows10 版本下对 Hadoop 的编译、安装步骤，以及相关包或者软件下载安装过程。

  • 不需要在 Cygwin 下安装 Hadoop，官方也不推荐使用 Cygwin。

  • Hadoop 版本支持情况：Hadoop 2.2 版本起包括 Windows 的原生支持。截至 2014 年一月份，官方的 Apache Hadoop 的版本不包括 Windows 二进制文件。

  • Windows 版本支持情况：Hadoop 官方人员开发、测试环境分别是 32 的 Windows Server 2008 和 32 位的 Windows Server 2008 R2。因为服务器型号 win32 位的 API 相似，所以官方推测 Windows7 或者 Windows Vista 应该也是支持的。Windows XP Hadoop 官方不测试也不支持。

总之，Windows 版本的 Hadoop 需要在 2.2 之后可自行编译，并且不支持 Windows XP，在其他 Windows 平台下，官方不予严格的支持（仅仅提供二进制文件，部分组件需要自行编译）。

以下内容是具体实施，Hadoop 集群在 Windows 环境下支持情况调研与测试部署，罗列了 Windows 实际部署情况，以及所遇到的问题和解决方案。

1. 自行编译 Windows 环境的二进制包

Requirements:

* Windows System
* JDK 1.6+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer
* Windows SDK or Visual Studio 2010 Professional
* Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip
* zlib headers (if building native code bindings for zlib)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)

1. 配置编译环境

1.1. 设置 JDK 环境

JAVA_HOME 设置

Windows 10 下编译安装 Hadoop2.6

jdk 设置 path

Windows 10 下编译安装 Hadoop2.6

1.2. 安装编译工具 maven

下载 maven 的 zip 包 将 maven 的根目录放置系统变量 path 中

Windows 10 下编译安装 Hadoop2.6

测试 mvn -v

Windows 10 下编译安装 Hadoop2.6

1.3. 安装 ProtocolBuffer

下载 先切换到带有 pom 文件路径中

cd E:\IDE\protobuf-3.0.0-beta-3\java

通过 mvn 安装 mvn test 测试 mvn install

Windows 10 下编译安装 Hadoop2.6

1.4. 安装 CMake

下载 安装即可。

1.5. 安装 visual studio 2010 之后（直接下载安装，不再赘述）或者安装 Windows SDK

下面关于 Hadoop 的文章您也可能喜欢，不妨看看：

CentOS7.2 下 Hadoop2.7.2 集群搭建 http://www.linuxidc.com/Linux/2016-07/133644.htm

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

2. 编译安装

设置环境编译环境位数 set Platform=x64 (when building on a 64-bit system) set Platform=Win32 (when building on a 32-bit system) 设置安装包环境 设置环境变量添加至将 ZLIB_HOME 至环境变量中 set ZLIB_HOME=C:\zlib-1.2.7 mvn 编译命令

mvn package  -Pdist,native-win -DskipTests -Dtar

Windows 10 下编译安装 Hadoop2.6

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2016-08/134131p2.htm

3. 部署 Hadoop on Windows

3.1 源码

core-site.xml 源码

<configuration>
  <property>
  <name>fs.default.name</name>
  <value>hdfs://0.0.0.0:19000</value>
</property>
</configuration>

Hadoop-env.cmd 源码

set HADOOP_PREFIX=E:\bigdata\hadoop
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

hdfs-site.xml 源码

<configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
</configuration>

mapre-site.xml 源码

<configuration>

    <property>
      <name>mapreduce.job.user.name</name>
      <value>wxl</value>
    </property>

    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>

   <property>
     <name>yarn.apps.stagingDir</name>
     <value>/user/wxl/staging</value>
   </property>

   <property>
     <name>mapreduce.jobtracker.address</name>
     <value>local</value>
   </property>

</configuration>

yarn-site.xml 源码

<configuration>

<!-- Site specific YARN configuration properties -->

<property>
  <name>yarn.server.resourcemanager.address</name>
  <value>0.0.0.0:8020</value>
</property>

<property>
  <name>yarn.server.resourcemanager.application.expiry.interval</name>
  <value>60000</value>
</property>

<property>
  <name>yarn.server.nodemanager.address</name>
  <value>0.0.0.0:45454</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
  <name>yarn.server.nodemanager.remote-app-log-dir</name>
  <value>/app-logs</value>
</property>

<property>
  <name>yarn.nodemanager.log-dirs</name>
  <value>/dep/logs/userlogs</value>
</property>

<property>
  <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>
  <value>0.0.0.0</value>
</property>

<property>
  <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>
  <value>0.0.0.0</value>
</property>

<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>-1</value>
</property>

<property>
  <name>yarn.application.classpath</name>
  <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>
</property>

</configuration>

slaves 源码

localhost

3.2 初始化环境变量，运行 hadoop-env.cmd 文件(双击、或着回车执行)

E:\bigdata\hadoop\etc\hadoop\hadoop-env.cmd

3.3 格式化 namenode

%HADOOP_PREFIX%\bin\hdfs namenode -format

![successfully formatted](../Imgs/HadoopforWindows/successfully formatted.png)

3.4 启动 namenode 和 datanode

%HADOOP_PREFIX%\sbin\start-dfs.cmd

会弹出两个 cmd 窗口，分别是 datanode 和 namenode。查看是否启动成功，在原先窗口输入 jps 查看，如图。

Windows 10 下编译安装 Hadoop2.6

3.5 运行 hdfs 命令，上传一个文件 在当前 cmd 目录下，如 bigdata 下创建一个 myfile.text 文件 执行

%HADOOP_PREFIX%\bin\hdfs dfs -put myfile.txt /

查看上传的文件信息执行

%HADOOP_PREFIX%\bin\hdfs dfs -ls /

Windows 10 下编译安装 Hadoop2.6

4. Hadoop YARN

4.1 启动 YARN

%HADOOP_PREFIX%\sbin\start-yarn.cmd

输入 jps 命令可查看当前启动的节点，如图
Windows 10 下编译安装 Hadoop2.6

4.2 运行一个小例子 world count

%HADOOP_PREFIX%\bin\yarn jar %HADOOP_PREFIX%\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.6.4.jar wordcount /myfile.txt /out

4.3 web 端查看 Hadoop 作业 http://localhost:8088/cluster

Windows 10 下编译安装 Hadoop2.6

5. 结束 Hadoop

%HADOOP_PREFIX%\sbin\stop-yarn.cmd
%HADOOP_PREFIX%\sbin\stop-dfs.cmd

6. 遇到问题请看下面解决方案，坑都在这里了：

6.1 . 运行以下命令出错

mvn package  -Pdist,native-win -DskipTests -Dtar

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (pre-dist) on project hadoop-project-dist: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program“sh”(in directory“E:\bigdata\hadoop\hadoop-project-dist\target”): CreateProcess error=2, 系统找不到指定的文件。

6.2‘-Xmx512m’is not recognized as an internal or external command

Windows 10 下编译安装 Hadoop2.6

给出 stackoverflow 上大神的解决方法

6.3 . 节点启动失败

org.apache.hadoop.io.nativeio.NativeIOWindows.acce![org.apache.hadoop.io.nativeio.NativeIOWindows 10 下编译安装 Hadoop2.6 Windows.access0](../Imgs/HadoopforWindows/log_org.apache.hadoop.io.nativeio.NativeIO$Windows.access0.png)
解决：下载 Hadoop2.6.4 bin 编译的包，并且复制到 Hadoop 目录的 bin 目录下。

![org.apache.hadoop.io.nativeio.NativeIO$Windows.access0](../Imgs/HadoopforWindows/log_org 解决 apache.hadoop.io.nativeio.NativeIO$Windows.access0.png)

Windows 10 下编译安装 Hadoop2.6 官方 wiki 解决方案

6.4 . 运行 worldcount 出错

Application application_1467703817455_0002 failed 2 times due to AM Container for appattempt_1467703817455_0002_000002 exited with exitCode: -1000 For more detailed output, check application tracking page:http://DESKTOP-KV0K24Q:8088/proxy/application_1467703817455_0002/Then, click on links to logs of each attempt. Diagnostics: Failed to setup local dir /tmp/hadoop-wxl/nm-local-dir, which was marked as good. Failing this attempt. Failing the application.

Windows 10 下编译安装 Hadoop2.6
log_Failed while trying to construct the redirect url to the log server.png
解决方案：权限问题

Windows 10 下编译安装 Hadoop2.6

Mapreduce error: Failed to setup local dir

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-08/134131.htm

Windows 10 下安装 Hadoop2.6，Windows10 下编译 64 位 Hadoop2.x。详细记录了 Windows10 版本下对 Hadoop 的编译、安装步骤，以及相关包或者软件下载安装过程。

  • 不需要在 Cygwin 下安装 Hadoop，官方也不推荐使用 Cygwin。

  • Hadoop 版本支持情况：Hadoop 2.2 版本起包括 Windows 的原生支持。截至 2014 年一月份，官方的 Apache Hadoop 的版本不包括 Windows 二进制文件。

  • Windows 版本支持情况：Hadoop 官方人员开发、测试环境分别是 32 的 Windows Server 2008 和 32 位的 Windows Server 2008 R2。因为服务器型号 win32 位的 API 相似，所以官方推测 Windows7 或者 Windows Vista 应该也是支持的。Windows XP Hadoop 官方不测试也不支持。

总之，Windows 版本的 Hadoop 需要在 2.2 之后可自行编译，并且不支持 Windows XP，在其他 Windows 平台下，官方不予严格的支持（仅仅提供二进制文件，部分组件需要自行编译）。

以下内容是具体实施，Hadoop 集群在 Windows 环境下支持情况调研与测试部署，罗列了 Windows 实际部署情况，以及所遇到的问题和解决方案。

1. 自行编译 Windows 环境的二进制包

Requirements:

* Windows System
* JDK 1.6+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer
* Windows SDK or Visual Studio 2010 Professional
* Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip
* zlib headers (if building native code bindings for zlib)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)

1. 配置编译环境

1.1. 设置 JDK 环境

JAVA_HOME 设置

Windows 10 下编译安装 Hadoop2.6

jdk 设置 path

Windows 10 下编译安装 Hadoop2.6

1.2. 安装编译工具 maven

下载 maven 的 zip 包 将 maven 的根目录放置系统变量 path 中

Windows 10 下编译安装 Hadoop2.6

测试 mvn -v

Windows 10 下编译安装 Hadoop2.6

1.3. 安装 ProtocolBuffer

下载 先切换到带有 pom 文件路径中

cd E:\IDE\protobuf-3.0.0-beta-3\java

通过 mvn 安装 mvn test 测试 mvn install

Windows 10 下编译安装 Hadoop2.6

1.4. 安装 CMake

下载 安装即可。

1.5. 安装 visual studio 2010 之后（直接下载安装，不再赘述）或者安装 Windows SDK

下面关于 Hadoop 的文章您也可能喜欢，不妨看看：

CentOS7.2 下 Hadoop2.7.2 集群搭建 http://www.linuxidc.com/Linux/2016-07/133644.htm

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

2. 编译安装

设置环境编译环境位数 set Platform=x64 (when building on a 64-bit system) set Platform=Win32 (when building on a 32-bit system) 设置安装包环境 设置环境变量添加至将 ZLIB_HOME 至环境变量中 set ZLIB_HOME=C:\zlib-1.2.7 mvn 编译命令

mvn package  -Pdist,native-win -DskipTests -Dtar

Windows 10 下编译安装 Hadoop2.6

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2016-08/134131p2.htm

正文完
星哥玩云-微信公众号
post-qrcode
Apache Hadoop Hadoop2.6 Linux服务器 Nginx Tomcat Windows 10下编译安装Hadoop2.6 Windows安装Hadoop2.6 分布式 分布式系统 服务器 集群
发表至： 服务器应用
2022-01-21
 0
星锅
版权声明：本站原创文章，由 星锅 于2022-01-21发表，共计8911字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
Zabbix 源码编译安装
Keepalive配置文件说明和实现高可用
使用Kibana 分析Nginx 日志并在 Dashboard上展示
搭建DHCP服务实现动态分配IP地址详解
Hadoop安装lzo
完全分布式Hadoop集群安装与配置
Tomcat 访问日志源码分析与应用
RAID原理基础
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
3595087
评论数
4
文章搜索
热门文章
选择PHP与Python，可以考虑这三个问题

选择PHP与Python，可以考虑这三个问题

导读 尽管 RESTful API 和跨平台库已经使网页开发容易起来，但依然没有解决阻碍并隔分开发者、管理者和...
Centos 7平滑无缝升级PHP7.1.0到PHP 7.1.5

Centos 7平滑无缝升级PHP7.1.0到PHP 7.1.5

实验环境：CentOS Linux release 7.3.1611 (Core) 内核版本：Linux ve...
介绍ansible的Ad-hoc与commands模块

介绍ansible的Ad-hoc与commands模块

Ad-Hoc 是指 ansible 下临时执行的一条命令，并且不需要保存的命令，对于复杂的命令后面会说 pla...
Linux安装使用pidstat命令以对进程数据进行监控

Linux安装使用pidstat命令以对进程数据进行监控

导读 Linux 系统监控的命令其实有很多，pidstat 命令就是其中的一种，使用 pidstat 命令可以...
linux下使用tree命令以树形结构显示文件目录结构

linux下使用tree命令以树形结构显示文件目录结构

导读 今天小编来给分享 Linux 系统下一个非常有用的命令的使用：tree 命令可以以树形结构显示文件目录结...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
ansible的ansible.cfg配置介绍

ansible的ansible.cfg配置介绍

Ansible 默认安装好后有一个配置文件 /etc/ansible/ansible.cfg，该配置文件中定义...
如何解决Oracle临时表空间过大

如何解决Oracle临时表空间过大

导读 解决 Oracle 临时表空间过大有两种方法，方法一增加临时表空间的大小，方法二重建临时表空间，解决临时...
linux下如何查看服务器wwn号

linux下如何查看服务器wwn号

PC server 主机与 FC 存储进行连接时，一般需要加装 HBA 卡，两者之间衔接的一个重要参数就是 w...
如何寻找IO杀手进程

如何寻找IO杀手进程

linux 下可以通过 iostat 查看目前主机总的 io 使用情况，不过当通过 top 等命令查看时，发现...
详解：配置启用NGINX状态页面

详解：配置启用NGINX状态页面

导读 Nginx 是一款免费的开源，高性能，可靠，可扩展且可完全扩展的 Web 服务器，负载均衡器和反向代理软...
一言一句话
-「」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中