阿里云-云小站（无限量代金券发放中）
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop2.5.0单节点以及多节点安装教程

226次阅读
没有评论

共计 12686 个字符，预计需要花费 32 分钟才能阅读完成。

1、安装 jdk
可通过 whereis java 命令，查看 java 的安装路径；或者通过 which java 查看 java 的执行路径；更新 /etc/profile 文件，在文件的末尾加入以下命令：
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_20
export JRE_HOME=/usr/lib/jdk/jdk1.8.0_20/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
使用 source /etc/profile 命令，更新系统的环境变量
最后，将系统默认 jdk 修改过来

$ sudo update-alternatives –install /usr/bin/java java /usr/lib/jdk/jdk1.8.0_20/bin/java 300
$ sudo update-alternatives –install /usr/bin/javac javac /usr/lib/jdk/jdk1.8.0_20/bin/javac 300
$ sudo update-alternatives –config java
$ sudo update-alternatives –config javac

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm

————————————– 分割线 ————————————–

2、安装 SSH（集群已安装配置好 SSH 免密码服务；若是搭建多台节点，需要节点户县之间均能免密码 SSH 登录）
      注意：
      Linux 系统中 $HOME 目录下的.ssh 目录为用户所有，权限必须为 700（只有用户自己可以全权访问）
    .ssh 目录下的授权文件“authorized_keys”为用户所有，权限必须为 644（只有权限为 644，才可以实现免密码，否则 ssh 连接时，仍需要输入密码）
    配置两台计算节点之间免密码登录（假设为 master 免密码登录 slave）：
      1、先生成公钥和私钥：ssh-keygen -t rsa -P “”
      2、将 master 的公钥拷贝至 slave 的 authorized_keys 文件中：hduser@master:ssh-copy-id -i $HOME/.ssh/id_rsa.pub hduser@slave

3、将 Hdoop 安装目录解压至 opt 目录
tar -zxvf archive_name.tar.gz

4、更改 Hadoop 目录权限和所有者
sudo chown -R hu:hu hadoop-2.5.0
sudo chmod -R 755 hadoop-2.5.0

5、配置 Hadoop（以下为单节点配置，多节点中，也只需要配置主节点的环境变量即可）

在 ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 中，添加 JAVA 安装目录：
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_20/bin/java

设置用户环境变量，以方便使用 shell 操作 hadoop，将以下设置添加至~/.bashrc 文件中

export JAVA_HOME=$HOME/java
export HADOOP_DEV_HOME=$HOME/hadoop-0.23.1
export HADOOP_MAPRED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_DEV_HOME}/logs
export PATH=${HADOOP_DEV_HOME}/bin

修改 mapred-site.xml
在 ${HADOOP_HOME}/etc/hadoop/ 下，将 mapred-site.xml.templat 重命名成 mapred-site.xml，并添加以下内容

<configuration>
    <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
    </property>
</configuration>

修改 core-site.xml
在 ${HADOOP_HOME}/etc/hadoop/ 中，修改 core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000/</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop-data/tmp/hadoop-${user.name}</value>
                <description>A base for other temporary directories.</description>
        </property>
</configuration>

修改 yarn-site.xml

在 ${HADOOP_HOME}/etc/hadoop/ 中，修改 yarn-site.xml：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

修改 hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
 <value>1</value>
 </property>
 <property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

修改 slaves

在 slaves 文件中添加你的节点 ip 或者 host；如：master
如果有多个 NodeManager，可一次添加到该文件中，每个占一行。

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-12/110458p2.htm

6、配置 Hadoop（多节点配置）

流程如下：
1、配置好一台单节点后，如下修改该节点的 hadoop 配置文件，并将 hadoop 目录分发至其余节点
2、将其他节点的 hadoop 目录所有者改为 hadoop 的使用者，并将 hadoop 目录权限改为 755
3、在其他节点上创建 hdfs 的本地目录，将目录所有者改为 hadoop 的使用者，并将目录权限改为 755；此处为创建 /hdfs/name 和 /hdfs/data 文件夹，其中 /hdfs/name 文件夹用来存放系统元数据，/hdfs/data 用来存放数据块
4、创建 /opt/hadoop-data 目录，在该目录下创建 tmp 和 logs 文件夹。其中 logs 文件夹作为日志目录，tmp 文件夹作为临时目录；将 hadoop 的程序和 hadoop 生成的日志以及中间数据分开，有利于 hadoop 的维护
5、无需更改其他节点的~/.bashrc 文件

修改 core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000/</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
 <name>hadoop.tmp.dir</name>
<value>/opt/hadoop-data/tmp/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>

修改 hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value></value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hdfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

<property>
<name>dfs.federation.nameservices</name>
<value>master</value>
</property>

<property>
<name>dfs.namenode.rpc-address.master</name>
<value>192.168.168.101:9000</value>
</property>
<property>
 <name>dfs.namenode.http-address.master</name>
<value>192.168.168.101:23001</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address.master</name>
<value>192.168.168.101:23002</value>
</property>
</configuration>

修改 mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.168.101:10020</value>
</property>
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.168.101:19888</value>
</property>
</configuration>

修改 yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
<description>
host is the hostname of the resource manager and port is the port on which the NodeManagers contact the Resource Manager
</description>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.168.101:8031</value>
</property>

<property>
<description>
the host is the hostname of the ResourceManager and the port is the port on which the clients can talk to the Resource Manager.
</description>
<name>yarn.resourcemanager.address</name>
<value>192.168.168.101:8032</value>
</property>

<property>
<description>
host is the hostname of the resourcemanager and port is the port on which the Applications in the cluster talk to the Resource Manager.
</description>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.168.101:8030</value>
</property>

<property>
<description>The address of the RM admin interface.</description>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.168.101:8033</value>
</property>

<property>
<description>Resource Manager 的 Web 访问地址 </description>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.168.101:50030</span></strong></value>
</property>

<property>
<name>yarn.nodemanager.local-dirs</name>
<value>${hadoop.tmp.dir}/nodemanager/local</value>
<description>the local directories used by the nodemanager to store the temp file</description>
</property>

<property>
<name>yarn.nodemanager.log-dirs</name>
<value>${hadoop.tmp.dir}/nodemanager/logs</value>
<description>the directories used by Nodemanagers as log directories</description>
</property>
</configuration>

7、启动 HDFS
先格式化集群(需要使用 root 用户格式化 namenode)：bin/hadoop namenode -format&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

注意：hdfs 在本地的目录权限和所有者，若权限过低或者所有者与 hadoop 的使用者不是同一个用户，则 namenode 或者 datanode 将无法启动。
解决方法：将 hdfs 的本地目录所有者改为 hadoop 的使用用户，并将目录权限设为 755&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
注意：datanode 无法启动时，大多原因就是因为 hadoop 的 datanode 的 VERSION 文件中的 namespaceID 与 namenode 中的 version 文件中的 namespaceID 二者出现不一致。
解决办法：

1：首先停掉 namenode 上相关的进程：切换到 hadoop 的 /sbin 目录下：
sh  stop-dfs.sh
sh stop-yarn.sh
2：切换到 hdfs 本地目录，将 /name 和 /data 目录下的 /current 目录下的所有文件清除。
3：将 datanode 与 namenode 的 /current 下 VERSION 等相应文件文件清除后，回到 namenode 上，执行 bin/hadoop namenode -format 命令

如果 namenode 无法启动，查看日志，报错原因为权限不够，则将 hdfs 的本地 name 目录的所有者改为 hadoop 的使用用户（因为用 root 用户格式化，建立的 name 目录的所有者为 root 用户，普通用户没有写权限）

可以使用以下命令分别启动 NameNode 和 DataNode：
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode（如果有多个 datanode，需使用 hadoop-daemons.sh）
或者一次启动：sbin/ start-dfs.sh

8、启动 yarn

可以使用以下命令分别启动 ResourceManager 和 NodeManager：
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager（如果有多个 datanode，需使用 yarn-daemons.sh）
或者一次启动：sbin/start-yarn.sh

9、启动 historyserver
sbin/mr-jobhistory-daemon.sh start historyserver
关掉 historyserver 命令：sbin/mr-jobhistory-daemon.sh stop historyserver

10、检查是否运行成功
查看 MapReduce 任务信息：http://master:50030

查看 HDFS 信息：http://master:23001

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

1、安装 jdk
可通过 whereis java 命令，查看 java 的安装路径；或者通过 which java 查看 java 的执行路径；更新 /etc/profile 文件，在文件的末尾加入以下命令：
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_20
export JRE_HOME=/usr/lib/jdk/jdk1.8.0_20/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
使用 source /etc/profile 命令，更新系统的环境变量
最后，将系统默认 jdk 修改过来

$ sudo update-alternatives –install /usr/bin/java java /usr/lib/jdk/jdk1.8.0_20/bin/java 300
$ sudo update-alternatives –install /usr/bin/javac javac /usr/lib/jdk/jdk1.8.0_20/bin/javac 300
$ sudo update-alternatives –config java
$ sudo update-alternatives –config javac

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm

————————————– 分割线 ————————————–

2、安装 SSH（集群已安装配置好 SSH 免密码服务；若是搭建多台节点，需要节点户县之间均能免密码 SSH 登录）
      注意：
      Linux 系统中 $HOME 目录下的.ssh 目录为用户所有，权限必须为 700（只有用户自己可以全权访问）
    .ssh 目录下的授权文件“authorized_keys”为用户所有，权限必须为 644（只有权限为 644，才可以实现免密码，否则 ssh 连接时，仍需要输入密码）
    配置两台计算节点之间免密码登录（假设为 master 免密码登录 slave）：
      1、先生成公钥和私钥：ssh-keygen -t rsa -P “”
      2、将 master 的公钥拷贝至 slave 的 authorized_keys 文件中：hduser@master:ssh-copy-id -i $HOME/.ssh/id_rsa.pub hduser@slave

3、将 Hdoop 安装目录解压至 opt 目录
tar -zxvf archive_name.tar.gz

4、更改 Hadoop 目录权限和所有者
sudo chown -R hu:hu hadoop-2.5.0
sudo chmod -R 755 hadoop-2.5.0

5、配置 Hadoop（以下为单节点配置，多节点中，也只需要配置主节点的环境变量即可）

在 ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 中，添加 JAVA 安装目录：
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_20/bin/java

设置用户环境变量，以方便使用 shell 操作 hadoop，将以下设置添加至~/.bashrc 文件中

export JAVA_HOME=$HOME/java
export HADOOP_DEV_HOME=$HOME/hadoop-0.23.1
export HADOOP_MAPRED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
export HADOOP_LOG_DIR=${HADOOP_DEV_HOME}/logs
export PATH=${HADOOP_DEV_HOME}/bin

修改 mapred-site.xml
在 ${HADOOP_HOME}/etc/hadoop/ 下，将 mapred-site.xml.templat 重命名成 mapred-site.xml，并添加以下内容

<configuration>
    <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
    </property>
</configuration>

修改 core-site.xml
在 ${HADOOP_HOME}/etc/hadoop/ 中，修改 core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000/</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop-data/tmp/hadoop-${user.name}</value>
                <description>A base for other temporary directories.</description>
        </property>
</configuration>

修改 yarn-site.xml

在 ${HADOOP_HOME}/etc/hadoop/ 中，修改 yarn-site.xml：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

修改 hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
 <value>1</value>
 </property>
 <property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

修改 slaves

在 slaves 文件中添加你的节点 ip 或者 host；如：master
如果有多个 NodeManager，可一次添加到该文件中，每个占一行。

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-12/110458p2.htm

正文完
星哥玩云-微信公众号
post-qrcode
Apache Hadoop Hadoop2.5.0 Hadoop2.5.0单节点以及多节点安装教程 Hadoop单节点安装 Linux服务器 Nginx Tomcat 分布式 分布式系统 服务器 集群
发表至： 服务器应用
2022-01-20
 0
星锅
版权声明：本站原创文章，由 星锅 于2022-01-20发表，共计12686字。
转载说明：除特殊说明外本站文章皆由CC-4.0协议发布，转载请注明出处。
【腾讯云】推广者专属福利，新客户无门槛领取总价值高达2860元代金券，每种代金券限量500张，先到先得。
Zabbix如何设置脚本告警
Linux中配置Nginx Web服务器过程
使用 Ansible 高效交付 Docker 容器
HDFS 安全模式的理解
将Nagios监控信息存入MySQL
Spark本地开发环境搭建
Ubuntu 16.04初始服务器完全设置
用十条命令在一分钟内检查Linux服务器性能
阿里云-最新活动爆款每日限量供应
评论（没有评论）
验证码
星哥说事
星哥说事
分享互联网知识
阅读量
3595303
评论数
4
文章搜索
热门文章
选择PHP与Python，可以考虑这三个问题

选择PHP与Python，可以考虑这三个问题

导读 尽管 RESTful API 和跨平台库已经使网页开发容易起来，但依然没有解决阻碍并隔分开发者、管理者和...
Centos 7平滑无缝升级PHP7.1.0到PHP 7.1.5

Centos 7平滑无缝升级PHP7.1.0到PHP 7.1.5

实验环境：CentOS Linux release 7.3.1611 (Core) 内核版本：Linux ve...
介绍ansible的Ad-hoc与commands模块

介绍ansible的Ad-hoc与commands模块

Ad-Hoc 是指 ansible 下临时执行的一条命令，并且不需要保存的命令，对于复杂的命令后面会说 pla...
Linux安装使用pidstat命令以对进程数据进行监控

Linux安装使用pidstat命令以对进程数据进行监控

导读 Linux 系统监控的命令其实有很多，pidstat 命令就是其中的一种，使用 pidstat 命令可以...
linux下使用tree命令以树形结构显示文件目录结构

linux下使用tree命令以树形结构显示文件目录结构

导读 今天小编来给分享 Linux 系统下一个非常有用的命令的使用：tree 命令可以以树形结构显示文件目录结...
CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
CentOS7 Configuring Rsync Server

CentOS7 Configuring Rsync Server

Rsync 是一个非常灵活的命令行网络同步工具，由于它在 Linux 和类 unix 系统上的普及，使它被默认...
Linux下修改系统时间的简单方法

Linux下修改系统时间的简单方法

《Linux 就该这么学》– 必读的 Linux 系统与红帽 RHCE 认证免费自学书籍 电子版下...
讲述下Linux 执行 df 和 du 查看磁盘时占用结果不一致的解决办法

讲述下Linux 执行 df 和 du 查看磁盘时占用结果不一致的解决办法

问题现象 1、执行 df -h 查看 ECS Linux 实例文件系统使用率，可以看到 /dev/xvdb1 ...
悄悄告诉你10 条加速 Ubuntu Linux 的杀手级技巧

悄悄告诉你10 条加速 Ubuntu Linux 的杀手级技巧

导读 也许你经历过使用 Ubuntu 一段时间后系统开始运行缓慢的情况。在这篇文章里，我列出一些能够帮助你稍微...
第一节：Bash编程易犯的错误

第一节：Bash编程易犯的错误

前一段时间发现一个很好的 wiki 站点，上面有很多优秀的 Bash 文章。最近挑了一篇介绍 Bash 编程容...
一言一句话
-「」
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中