阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 6.5源码编译安装Hadoop2.5.1

199次阅读
没有评论

共计 2020 个字符,预计需要花费 6 分钟才能阅读完成。

CentOS 6.5 源码编译安装 Hadoop2.5.1

一、编译环境

CentOS6.5(64bit)     
jdk7     
ant1.9.4 
maven3.1.1 
findbugs3.0.0 
protobuf2.5.0 
hadoop2.5.1 源代码文件 

二、安装以上所需的所有软件

1.yum 可安装的软件

yum install svn ncurses-devel gcc* lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel 

2. 安装 JDK

rpm -ivh jdk-8-linux-x64.rpm 
 
vim  /etc/profile 
export JAVA_HOME=/usr/java/jdk1.7.0 
export JRE_HOME=/usr/java/jdk1.7.0/jre 
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

3. 安装 ant

tar zxvf apache-ant-1.9.4-bin.tar.gz 
 
vim /etc/profile 
export ANT_HOME=/usr/local/apache-ant-1.9.4 
export PATH=$PATH:$ANT_HOME/bin 

4. 安装 findbugs

tar zxvf findbugs-3.0.0.tar.gz 
 
vim /etc/profile 
export FINDBUGS_HOME=/usr/local/findbugs-3.0.0 
export PATH=$PATH:$FINDBUGS_HOME/bin 

5. 安装 protobuf

tar zxvf protobuf-2.5.0.tar.gz 
cd protobuf-2.5.0 
./configure –prefix=/usr/local 
make && make install 

6. 安装 maven

tar -zxvf apache-maven-3.1.1-bin.tar.gz 
vim /etc/peofile 
export M2_HOME=/usr/local/apache-maven-3.1.1 
export PATH=$PATH:$JAVA_HOME/bin:$M2_HOME/bin 

三、编译 hadoop 源码

tar zxvf hadoop-2.5.1-src.tar.gz 
cd hadoop-2.5.1-src 
mvn package -Pdist,native,docs -DskipTests -Dtar 

CentOS 6.5 源码编译安装 Hadoop2.5.1

最后的文件就在 hadoop-2.5.1-src/hadoop-dist/target 中

CentOS 6.5 源码编译安装 Hadoop2.5.1

至此,自己编译的 hadoop2.5.1 已经完成,经测试不会再在运行的时候出现 warning 了,确实让人开心!

另外:如果在编译的时候出现问题,不妨考虑一下 jdk 的版本以及各个软件的版本的问题,我最初用的是 jdk8,一直报错,最后尝试了一下 jdk7 才算成功。

按照如上步骤基本可以保证能够正确编译,编译过程中参考了网上不少的文章,由于自己有记笔记的习惯,每次操作过后都记录在笔记中,因此未记录参考过那些文章,请见谅。

下面关于 Hadoop 的文章您也可能喜欢,不妨看看:

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址:http://www.linuxidc.com/Linux/2015-12/126187.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计2020字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中