阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ubuntu 14.04下Hadoop Eclipse 环境配置教程

202次阅读
没有评论

共计 5038 个字符,预计需要花费 13 分钟才能阅读完成。

学习 Hadoop 有两天了,配置 Hadoop 到环境也用了两天,将自己在 Ubuntu 14.04 下 Hadoop Eclipse 环境配置过程写在这里,希望对大家有所帮助!

我将文中用到的所有资源都分享到了 Linuxidc.com 的资源网站里,不需要一个个的找啦!

—————————————— 分割线 ——————————————

FTP 地址:ftp://ftp1.linuxidc.com

用户名:ftp1.linuxidc.com

密码:www.linuxidc.com

在 2014 年 LinuxIDC.com\6 月 \Ubuntu 14.04 下 Hadoop Eclipse 环境配置教程

下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm

—————————————— 分割线 ——————————————
 
其中有《Hadoop 技术内幕:深入解析 MapReduce 架构设计与实现原理》这本书(PDF 高清扫描版下载见 http://www.linuxidc.com/Linux/2014-06/103576.htm),第一章讲述了这个配置过程,但是不详细~

————— 安装 jdk——————————-
 1.
 下载 jdk1.6.0_45
 
2. 解压到 opt 文件夹下,配置 /etc/profile,在文件尾部加上
 #set java environment
 JAVA_HOME=/opt/jdk1.6.0_45
 export JRE_HOME=/opt/jdk1.6.0_45/jre
 export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
 
3. 然后用 source /etc/profile 来重新执行刚修改的初始化文件(profile)
 
4. 配置默认程序
 update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/java 300
 update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/javac 300
 update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/jar 300
 update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/javah 300
 update-alternatives –install /usr/bin/java java /opt/jdk1.6.0_45/bin/javap 300
 
然后执行以下代码选择我安装到 jdk 版本:
 update-alternatives –config java
 5. 之后就可以用 java -version 来查看 java 的版本了

Ubuntu 下安装 JDK7(附 Clojure 下载)http://www.linuxidc.com/Linux/2012-10/71557.htm

Ubuntu 12.04 下安装 JDK1.7 http://www.linuxidc.com/Linux/2012-06/62239.htm

CentOS6.3 安装 JDK 和环境配置 http://www.linuxidc.com/Linux/2012-09/70780.htm
 
————— 安装 eclipse——————————-
 1. 从官网下载 java 版到 eclipse
 http://mirror.neu.edu.cn/eclipse/technology/epp/downloads/release/kepler/SR2/eclipse-java-kepler-SR2-linux-gtk.tar.gz
 2. 解压到 /home/simon 文件夹下
 3. 用 vi 建立 shell 脚本命名为 eclipse
  vi /usr/local/bin/eclipse
 内容如下:
 /home/simon/eclipse/eclipse
4. 为脚本 eclipse 添加可执行权限:chmod +x /usr/local/bin/eclipse
 5. 直接输入 eclipse 来启动它了
 
————— 安装 ant——————————-
 1. 下载 ant
 http://mirror.esocc.com/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz
 2. 解压复制到 /home/simon 文件夹下
 3. 修改 /etc/profile 文件
 export ANT_HOME=/home/simon/apache-ant-1.9.4
 export PATH=$PATH$:$ANT_HOME/bin
 4. 然后用 source /etc/profile 来重新执行刚修改
 5. 输入 ant -version 验证安装成功
 Apache Ant(TM) version 1.9.4 compiled on April 29 2014

如何在 Linux 服务器上安装 apache ant? http://www.linuxidc.com/Linux/2012-06/63014.htm

Apache Ant 的详细介绍下载见 http://www.linuxidc.com/Linux/2013-08/88313.htm

Android 编译工具 Ant http://www.linuxidc.com/Linux/2013-05/84490.htm

 ————— 安装 hadoop——————————-
 1. 修改机器名称,编辑 /etc/hostname 修改为 localhost
 2. 配置 ssh 无密码登录
 ssh-keygen -t rsa
 cd ~/.ssh
 cat id_rsa.pub >> authorized_keys
 apt-get install openssh-server
 3. 如果命令 ssh localhost 不成功,则需要启动 ssh 服务
 通过以下命令启动 ssh 服务
 service ssh start
 /etc/init.d/ssh start
 如果还是启动失败,那就重启吧,管用
 
3. 配置 hadoop
(1)编辑 conf/hadoop-env.sh,修改 JAVA_HOME 的值:
 export JAVA_HOME=/opt/jdk1.6.0_45
(2)编辑 conf/mapred-site.xml,添加内容:
 <property>
    <name>mapred.job.tracker</name>
        <value>http://localhost:9001</value>
 </property>
 (3) 编辑 conf/hdfs-site.xml,添加内容:
 <property>
        <name>dfs.name.dir</name>
        <value>/home/simon/name</value>
 </property>
 
<property>
        <name>dfs.data.dir</name>
        <value>/home/simon/data</value>
 </property>
 <property>
        <name>dfs.permissions</name>
        <value>false</value>
 </property>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
 </property>
 (4)编辑 conf/core-site.xml,添加内容:
 <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
 </property>
 
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-1.0.0/tmp</value>
 </property>
 (5)
 格式化 hdfs:bin/hadoop namenode -format
 启动 hadoop:bin/start-all.sh
如果显示没有权限,可能是文件无权限,或者文件到用户不是当前用户(root)
 可以尝试 chmod +x 文件名
 chown root:root bin/*

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

 ——————- 配置 eclipse 插件 —————
 1. 将 hadoop-eclipse-plugin-1.0.0.jar 复制到 eclipse 目录下到 plugins 文件夹下
 2. 打开 eclipse
window-showview-other… 对话框中选择 MapReduce Tools – Map/Reduce Locations
 如果对话框中没有,则:%eclispe_dir%/configration/config.ini 文件,发现里面有一项 org.eclipse.update.reconcile=false 配置,改成 true 后重新进入 eclipse
 3. 在 Project Explorer 中就可以看到 DFS Locations 了,如果可以向下点开几个文件夹,说明配置成功
 
启动 eclipse:
 env UBUNTU_MENUPROXY= /home/simon/eclipse/eclipse 启动 eclipse,注意等号和 eclipse 路径之间有个空格

Hadoop Eclipse 插件编译安装 1.2.0 http://www.linuxidc.com/Linux/2013-07/87428.htm

Hadoop 在 Eclipse 中的插件编译 http://www.linuxidc.com/Linux/2013-04/83295.htm

Hadoop 1.2.1 编译 Eclipse 插件 http://www.linuxidc.com/Linux/2013-10/91666.htm 
—————— 运行 Java 程序 ——————–

1. 配置输入输出到路径

在程序中右击 –Run As–Run Configurations..–Argument

里填入

hdfs://localhost:9000/test/input hdfs://localhost:9000/test/output

中间用空格间隔,分别为输入输出到路径

2. 导入 hadoop 中到 jar 包,右击项目 –Properties– 左边选 Java Build Path– 右边选 Libraries– 右边点击 Add External JARs…

在 hadoop/lib/ 这个路径中选需要到 jar 包,如果不知道选哪个,那就全选!~(无奈)

3. 在程序中右击 –Run As–Run on hadoop 运行程序

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计5038字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中