阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop单节点安装部署

229次阅读
没有评论

共计 2881 个字符,预计需要花费 8 分钟才能阅读完成。

下面我们来一步步的进行 Hadoop 安装部署:
从零开始

机器环境
Distributor ID: CentOS
Description: CentOS release 5.8 (Final)
Release: 5.8
Codename: Final
jdk 版本
java version “1.6.0_45”

hadoop 版本
2.5.2
http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/
安装 jdk:
从甲骨文官方下载:
http://www.Oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u45-oth-JPR
jdk-6u45-linux-i586.bin

在 linux 下面运行命令  ./jdk-6u45-linux-i586.bin
配置环境变量
vi /etc/profile
export JAVA_HOME=/snwz/java/install/jdk1.6.0_45
export JAVA_BIN=/snwz/java/install/jdk1.6.0_45/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

运行  java -version 检查是否 jdk 安装成功

解压缩 hadoop 安装包,配置环境变量
$ cd /snwz/hadoop/install/hadoop-2.5.2/etc/hadoop
$ vi hadoop-env.sh
配置 java 和 hadoop 的目录
  # set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest
  # Assuming your installation directory is /usr/local/hadoop
  export HADOOP_PREFIX=/usr/local/hadoop
配置完成后 运行 bin/hadoop 
显示 hadoop 信息后,说明环境配置完成,下面开始我们的 hadoop 之旅!!!!!!

首先 使用 hadoop 自带的 mapreduce 实例实测一下
$ mkdir input
 $ cp etc/hadoop/*.xml input
 $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output ‘dfs[a-z.]+’
 $ cat output/*

成功后进入到 output 目录下
-rw-r–r– 1 hadoop hadoop 11 01-08 14:04 part-r-00000
-rw-r–r– 1 hadoop hadoop  0 01-08 14:04 _SUCCESS

如果看到这两个文件,则说明 mapreduce 任务运行成功。

下面我们来部署一个假分布模式
在分布模式下,因为其他 hadoop 服务器要通过 ssh 访问本机 hadoop,我们配置 ssh 免密码登陆
  $ ssh localhost
如果登陆不成功则执行下列命名
  $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
  $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
在测试 ssh localhost
如果还是需要输入密码,从网上搜的解决办法,有一大堆呢:
http://lunae.cc/tag/authorized_keys
为什么叫假分布呢?因为我们配置副本冗余为 1,就是只存放在一个节点上,配置如下:
etc/hadoop/core-site.xml:
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置完成后 需要将 hadoop 的名称节点格式化
$ bin/hdfs namenode -format
启动 dfs
$ sbin/start-dfs.sh
$ netstat -an | grep 9000
如果出现什么异常,日志都存放在 /snwz/hadoop/install/hadoop-2.5.2/logs
hadoop 还提供了可视化界面来让用户更好了解当前 hadoop 各个节点情况,在浏览器中输入
http://IP:50070

目前推荐使用 yarn 框架进行 hadoop 的部署,关于 yarn 框架,我在后面会慢慢学习并和大家分享!!!!

今天因为任务提前完成,才有时间记录下忙里偷闲学习的内容,改天继续,下一篇文章要详细介绍集群环境下的配置,在下一章,一个基本的大框架就要搭建起来了,我们拭目以待吧。

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2881字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中