Ubuntu下安装Hadoop（单机版）

203次阅读

共计 3590 个字符，预计需要花费 9 分钟才能阅读完成。

Ubuntu 版本 12.04.3 64 位

Hadoop 是用运行在 Java 虚拟机上的，所以需要先安装 JDK，JDK 安装配置方法在 Ubuntu 12.04 下安装 JDK1.7 http://www.linuxidc.com/Linux/2012-06/62239.htm）

源码包准备：

我下载的是 hadoop-1.2.1.tar.gz, 这个版本比较稳定，下载地址可以到官网提供的镜像 http://www.apache.org/dyn/closer.cgi/hadoop/common/

1、创建 hadoop 管理员帐号

直接在终端执行如下命令行：

1 sudo adduser hadoop

然后要求你设置 hadoop 帐户密码，这个命令是添加一个名为 hadoop 的标准帐户，我们需要的是管理员帐号

可以直接在图形界面下修改 hadoop 权限，将鼠标点击右上角的一个人头处，浮现列表，点击“用户账户”，解锁，然后更改为管理员权限

Ubuntu 下安装 Hadoop（单机版）

2、安装 ssh 服务

ssh 可以实现远程登录和管理，详细情况请 google 百度

ubuntu 默认并没有安装 ssh 服务，如果通过 ssh 链接 ubuntu，需要自己手动安装 ssh-server。命令行：

1 sudo apt-get install ssh openssh-server

3、ssh 无密码验证登录

创建 ssh-key，这里我们采用 rsa 方式，命令行如下：

ssh-keygen -t rsa -P ""

出现一个图形，出现的图形就是密码，不用管它

cat ~/.ssh/id_rsa.pub >> authorized_keys

然后即可无密码验证登录了，如下：

ssh localhost

退出命令行为：

exit

4、解压 hadoop 源码包

终端下进入 hadoop 源码包所在目录，使用复制命令把 hadoop 源码包复制到 /home/hadoop 下

cp hadoop-1.2.1.tar.gz /home/hadoop

然后解压, 命令行如下

tar -xzvf *.tag.gz

5、配置 hadoop 的 hadoop/conf 下的 hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml

配置 hadoop-1.2.1/conf/hadoop-env.sh，命令行：

gedit /home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh

ctrl + f 搜索到 JAVA_HOME

把前面的 #去掉，加上本系统 jdk 路径，保存退出

配置 hadoop-1.2.1/conf/core-site.xml，命令行：

gedit /home/hadoop/hadoop-1.2.1/conf/core-site.xml

在 hadoop 新建 hadoop_tmp 目录，原因是 http://blog.csdn.net/bychjzh/article/details/7830508

将如下 <configuration> </configuration> 之间的添加进入，保存退出

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/Linux/2015-04/configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop/hadoop-1.2.1/hadoop_tmp</value>
         <description>A base for other temporary directories.</description>
    </property>


</configuration>

配置 hadoop-1.2.1/conf/mapre-site.xml，命令行：

gedit /home/hadoop/hadoop-1.2.1/conf/mapre-site.xml.xml

将如下 <configuration> </configuration> 之间的添加进入，保存退出

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/Linux/2015-04/configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

配置 hadoop-1.2.1/conf/hdfs-site.xml，命令行：

gedit /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml

将如下 <configuration> </configuration> 之间的添加进入，保存退出

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="https://www.linuxidc.com/Linux/2015-04/configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

</configuration>