共计 5038 个字符,预计需要花费 13 分钟才能阅读完成。
学习 Hadoop 有两天了,配置 Hadoop 到环境也用了两天,将自己在 Ubuntu 14.04 下 Hadoop Eclipse 环境配置过程写在这里,希望对大家有所帮助!
我将文中用到的所有资源都分享到了 Linuxidc.com 的资源网站里,不需要一个个的找啦!
—————————————— 分割线 ——————————————
FTP 地址:ftp://ftp1.linuxidc.com
用户名:ftp1.linuxidc.com
密码:www.linuxidc.com
在 2014 年 LinuxIDC.com\6 月 \Ubuntu 14.04 下 Hadoop Eclipse 环境配置教程
下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm
—————————————— 分割线 ——————————————
其中有《Hadoop 技术内幕:深入解析 MapReduce 架构设计与实现原理》这本书(PDF 高清扫描版下载见 http://www.linuxidc.com/Linux/2014-06/103576.htm),第一章讲述了这个配置过程,但是不详细~
————— 安装 jdk——————————-
1.
下载 jdk1.6.0_45
2. 解压到 opt 文件夹下,配置 /etc/profile,在文件尾部加上
#set java environment
JAVA_HOME=/opt/jdk1.6.0_45
export JRE_HOME=/opt/jdk1.6.0_45/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
3. 然后用 source /etc/profile 来重新执行刚修改的初始化文件(profile)
4. 配置默认程序
update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/java 300
update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/javac 300
update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/jar 300
update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/javah 300
update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/javap 300
然后执行以下代码选择我安装到 jdk 版本:
update-alternatives –config java
5. 之后就可以用 java -version 来查看 java 的版本了
Ubuntu 下安装 JDK7(附 Clojure 下载)http://www.linuxidc.com/Linux/2012-10/71557.htm
Ubuntu 12.04 下安装 JDK1.7 http://www.linuxidc.com/Linux/2012-06/62239.htm
CentOS6.3 安装 JDK 和环境配置 http://www.linuxidc.com/Linux/2012-09/70780.htm
————— 安装 eclipse——————————-
1. 从官网下载 java 版到 eclipse
http://mirror.neu.edu.cn/eclipse/technology/epp/downloads/release/kepler/SR2/eclipse-java-kepler-SR2-linux-gtk.tar.gz
2. 解压到 /home/simon 文件夹下
3. 用 vi 建立 shell 脚本命名为 eclipse
vi /usr/local/bin/eclipse
内容如下:
/home/simon/eclipse/eclipse
4. 为脚本 eclipse 添加可执行权限:chmod +x /usr/local/bin/eclipse
5. 直接输入 eclipse 来启动它了
————— 安装 ant——————————-
1. 下载 ant
http://mirror.esocc.com/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz
2. 解压复制到 /home/simon 文件夹下
3. 修改 /etc/profile 文件
export ANT_HOME=/home/simon/apache-ant-1.9.4
export PATH=$PATH$:$ANT_HOME/bin
4. 然后用 source /etc/profile 来重新执行刚修改
5. 输入 ant -version 验证安装成功
Apache Ant(TM) version 1.9.4 compiled on April 29 2014
如何在 Linux 服务器上安装 apache ant? http://www.linuxidc.com/Linux/2012-06/63014.htm
Apache Ant 的详细介绍下载见 http://www.linuxidc.com/Linux/2013-08/88313.htm
Android 编译工具 Ant http://www.linuxidc.com/Linux/2013-05/84490.htm
————— 安装 hadoop——————————-
1. 修改机器名称,编辑 /etc/hostname 修改为 localhost
2. 配置 ssh 无密码登录
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
apt-get install openssh-server
3. 如果命令 ssh localhost 不成功,则需要启动 ssh 服务
通过以下命令启动 ssh 服务
service ssh start
/etc/init.d/ssh start
如果还是启动失败,那就重启吧,管用
3. 配置 hadoop
(1)编辑 conf/hadoop-env.sh,修改 JAVA_HOME 的值:
export JAVA_HOME=/opt/jdk1.6.0_45
(2)编辑 conf/mapred-site.xml,添加内容:
<property>
<name>mapred.job.tracker</name>
<value>http://localhost:9001</value>
</property>
(3) 编辑 conf/hdfs-site.xml,添加内容:
<property>
<name>dfs.name.dir</name>
<value>/home/simon/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/simon/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
(4)编辑 conf/core-site.xml,添加内容:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.0.0/tmp</value>
</property>
(5)
格式化 hdfs:bin/hadoop namenode -format
启动 hadoop:bin/start-all.sh
如果显示没有权限,可能是文件无权限,或者文件到用户不是当前用户(root)
可以尝试 chmod +x 文件名
chown root:root bin/*
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
——————- 配置 eclipse 插件 —————
1. 将 hadoop-eclipse-plugin-1.0.0.jar 复制到 eclipse 目录下到 plugins 文件夹下
2. 打开 eclipse
window-showview-other… 对话框中选择 MapReduce Tools – Map/Reduce Locations
如果对话框中没有,则:%eclispe_dir%/configration/config.ini 文件,发现里面有一项 org.eclipse.update.reconcile=false 配置,改成 true 后重新进入 eclipse
3. 在 Project Explorer 中就可以看到 DFS Locations 了,如果可以向下点开几个文件夹,说明配置成功
启动 eclipse:
env UBUNTU_MENUPROXY= /home/simon/eclipse/eclipse 启动 eclipse,注意等号和 eclipse 路径之间有个空格
Hadoop Eclipse 插件编译安装 1.2.0 http://www.linuxidc.com/Linux/2013-07/87428.htm
Hadoop 在 Eclipse 中的插件编译 http://www.linuxidc.com/Linux/2013-04/83295.htm
Hadoop 1.2.1 编译 Eclipse 插件 http://www.linuxidc.com/Linux/2013-10/91666.htm
—————— 运行 Java 程序 ——————–
1. 配置输入输出到路径
在程序中右击 –Run As–Run Configurations..–Argument
里填入
hdfs://localhost:9000/test/input hdfs://localhost:9000/test/output
中间用空格间隔,分别为输入输出到路径
2. 导入 hadoop 中到 jar 包,右击项目 –Properties– 左边选 Java Build Path– 右边选 Libraries– 右边点击 Add External JARs…
在 hadoop/lib/ 这个路径中选需要到 jar 包,如果不知道选哪个,那就全选!~(无奈)
3. 在程序中右击 –Run As–Run on hadoop 运行程序
更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13