共计 12748 个字符，预计需要花费 32 分钟才能阅读完成。
一、前提
因为安装 Lzo 及 Lzop 需要本地编译，所以需要安装编译环境，像 Gcc , Ant , Maven
1、gcc的安装
主要是后面编译 Lzo 时用到，如果有安装就略过
yum install lib* glibc* gcc*
2、Ant、Maven的安装
如果使用 Twitter 的 hadoop-lzo 只需要安装 Maven 就行，如果使用 kevinweil 的 hadoop-lzo 则需要安装 Ant, 并且 最好 1.8.2 及以上版本，并设置好环境变量,两者选其一，安装都比较简单。
1).ant的安装：
删除旧版本：yum remove ant
安装新版本：
- wget http://labs.renren.com/apache-mirror//ant/binaries/apache-ant-1.9.2-bin.tar.gz
- tar -jxvf apache-ant-1.9.2-bin.tar.bz2
添加 ANT 环境变量：
- vi /etc/profile.d/dev.sh
- export ANT_HOME=/usr/local/apache-ant-1.9.2
- export PATH=$PATH:$ANT_HOME/bin
- source /etc/profile 使配置文件生效
2) Maven 安装
maven 安装与 Ant 安装差不多，解压，然后配置环境变量，如：
- export MAVEN_HOME=/opt/modules/apache-maven-2.2.1
- export PATH=$MAVEN_HOME/bin:$PATH
- export ANT_HOME=/opt/modules/apache-ant-1.9.2
- export PATH=$ANT_HOME/bin:$PATH
说明：$MAVEN_HOME/conf/setting.xml 文件需要配置正常的仓库路径，以及本地路径。
二、安装 LZO
操作如下：
- wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
- export CFLAGS=-m32
- ./configure -enable-shared
- make && make install
完成之后，lib 库文件被默认安装到了 /usr/local/lib，我们需要进一步指定 lzo 库文件的路径，两个方法都可以：
1)拷贝 /usr/local/lib 目录下的 lzo 库文件到 /usr/lib（32 位平台），或 /usr/lib64（64 位平台）
2)在 /etc/ld.so.conf.d/ 目录下新建 lzo.conf 文件，只需写入 lzo 库文件的路径(/usr/local/lib)，然后运行以下命令使配置生效：
/sbin/ldconfig -v
三、安装 hadoop-LZO
提醒：lzo 目前有大概 2 个版本可选，Hadoop 1.x 的时候可以按照 cloudera 的文档在 https://github.com/kevinweil/hadoop-lzo 上编译，它是 fork 自 https://github.com/twitter/hadoop-lzo。kevinweil 这个版本在 hadoop1.0.3 上不适用，有些接口已经不能用了。因为 kevinweil 这个版本已经很久没有更新了，而且它是基于 Hadoop 0.20 去编译的，也不能用于 Hadoop2.x。而 twitter hadoop-lzo 在最近将 Ant 的编译方式切换为 Maven，默认的 dependency 中 Hadoop jar 包就是 2.x 的，所以要 clone twitter 的 hadoop-lzo，用 Maven 编译 jar 包和 native library。
1. 下载源码
https://github.com/kevinweil/hadoop-lzo 或
https://github.com/twitter/hadoop-lzo
2. 解压缩、进入项目目录
略
3. 编译
编译分 kevinweil 和 twitter 两个版本分别说明。主要是编译方式不同，一个使用 ant,twitter 使用 maven。
kevinweil：
- # 32 位 OS
- export CFLAGS=-m32
- export CXXFLAGS=-m32
- ant compile-native tar
- # 64 位 OS
- export CFLAGS=-m64
- export CXXFLAGS=-m64
- ant compile-native tar
- # 将本地库以及 Jar 包拷贝到 hadoop 对应的目录下，并分发到各节点上
- cd build
- cp hadoop-lzo-0.4.18.jar /opt/modules/hadoop/hadoop-1.0.3/lib/
- cp –r native/Linux-i386-32/* /opt/modules/hadoop/hadoop-1.0.3/lib/native/Linux-i386-32/ #64 位系统则是 64 位的路径目录 Linux-amd64-64
- # 或者用命令：tar -cBf – -C native . | tar -xBvf – -C /opt/modules/hadoop/hadoop-1.0.3/lib/native
Twitter:
- export CFLAGS=-m32 #64 位的使用 m64
- export CXXFLAGS=-m32
- export C_INCLUDE_PATH=/usr/local/include/lzo
- export LIBRARY_PATH=/usr/local/lib
- mvn clean package -Dmaven.test.skip=true
- tar -cBf – -C native/Linux-i386-32/lib . | tar -xBvf – -C /opt/modules/hadoop/hadoop-1.0.3/lib/native/
- cp target/hadoop-lzo-0.4.19-SNAPSHOT.jar /opt/modules/hadoop/hadoop-1.0.3/lib
最终确保 $HADOOP_HOME/lib/native/Linux-i386-32/ 目录下有 libhadoop.*、及 libgplcompression.*
注：如果编译不过，尝试执行:
- export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/
相关阅读：
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm
更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
四、安装 lzop
LZOP 是使用 lzo 库写的一个程序，通过 shell 命令直接可以压缩、解压缩文件。
- # 下载
- Wget http://www.lzop.org/download/lzop-1.03.tar.gz
- # 解压缩、进入项目目录（略过）
- ./configure
- make
- make install
用一下 lzop 的压缩解压功能, 成功安装后可直接使用 lzop 命令对文件进行解压缩操作了。
# 压缩
lzop 20110915.log #生成 lzop 20110915.log.lzo 文件
# 解压，并输出文件内容
lzop -cdpv.txt.lzo |more
五、配置 core-site.xml、mapred-site.xml
core-site.xml
- <property>
- <name>io.compression.codecs</name><value>org.apache.Hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
- <!– 配置 Hadoop 压缩包 –>
- </property>
- <property>
- <name>io.compression.codec.lzo.class</name>
- <value>com.hadoop.compression.lzo.LzoCodec</value>
- </property>
说明：主要是增加 LzoCodec 的编码解码器。
mapred-site.xml
- <property>
- <name>mapred.compress.map.output</name>
- <value>true</value>
- <!– map 和 reduce 输出中间文件默认开启压缩 –>
- </property>
- <property>
- <name>mapred.map.output.compression.codec</name>
- <value>com.hadoop.compression.lzo.LzoCodec</value>
- </property>
- <property>
- <name>mapred.child.env</name>
- <value>LD_LIBRARY_PATH=/opt/modules/hadoop/hadoop-1.0.2/lib/native/Linux-i386-32</value>
- </property>
说明：主要是设置开启压缩，以及环境变量
PS. 如果上述方式设置的 LD_LIBRARY_PATH 没有生效（通过“ps -ef |grep tasktracker”查看），可能需要通过 bin/hadoop 里设置 JAVA_LIBRARY_PATH。
解决办法：在 $hadoop_home/bin/hadoop 文件中增加如下一行即可 export JAVA_LIBRARY_PATH=$hadoop_home/lib/native/ Linux-i386-32
如果还有问题请关注下一篇博文。
六、集群节点同步
同步之前先在各节点安装 LZO 包、LZOP、LZO 编码解码器. 再把配置同步过去(mapred-site.xml、core-site.xml 文件)
注：如果你是单机伪分布式的环境，则不需要此步，直接启动 hadoop 即可。
七、测试 LZO
启动之后怎么才能知道我们的 LZO 在 hadoop 中发挥作用了呢？可以运行以下命令进行测试，先使用 lzop 制作一个 lzo 文件并上传到 HDFS 中，然后进入 $HADOOP_HOME 目录执行
单机：
- hadoop jar lib/hadoop-lzo-0.4.19-SNAPSHOT.jar com.hadoop.compression.lzo.LzoIndexer /test/
Mapreduce 方式生成 index 命令：
- hadoop jar lib/hadoop-lzo-0.4.19-SNAPSHOT.jar com.hadoop.compression.lzo.DistributedLzoIndexer /test/
执行一个 mapred 程序，如 wordcount 添加参数 ”-inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat”
说明：以上命令 lib/ hadoop-lzo-0.4.19-SNAPSHOT.jar 是你编译后拷贝过来的 jar 文件，my_big_file.lzo 文件需要提前上传上 HDFS 的 /test 目录下。执行成功后会生成 index 文件。
在程序中使用：
- conf.set(“io.compression.codecs”, “org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,com.hadoop.compression.lzo.LzopCodec”);
- conf.set(“io.compression.codec.lzo.class”, “com.hadoop.compression.lzo.LzoCodec”);
至此，hadoop 安装 lzo 已经完成，如果安装过程中出现 Could not load native gpl library，请看下一篇的文章 http://www.linuxidc.com/Linux/2014-03/98603.htm。
一、前提
因为安装 Lzo 及 Lzop 需要本地编译，所以需要安装编译环境，像 Gcc , Ant , Maven
1、gcc的安装
主要是后面编译 Lzo 时用到，如果有安装就略过
yum install lib* glibc* gcc*
2、Ant、Maven的安装
如果使用 Twitter 的 hadoop-lzo 只需要安装 Maven 就行，如果使用 kevinweil 的 hadoop-lzo 则需要安装 Ant, 并且 最好 1.8.2 及以上版本，并设置好环境变量,两者选其一，安装都比较简单。
1).ant的安装：
删除旧版本：yum remove ant
安装新版本：
- wget http://labs.renren.com/apache-mirror//ant/binaries/apache-ant-1.9.2-bin.tar.gz
- tar -jxvf apache-ant-1.9.2-bin.tar.bz2
添加 ANT 环境变量：
- vi /etc/profile.d/dev.sh
- export ANT_HOME=/usr/local/apache-ant-1.9.2
- export PATH=$PATH:$ANT_HOME/bin
- source /etc/profile 使配置文件生效
2) Maven 安装
maven 安装与 Ant 安装差不多，解压，然后配置环境变量，如：
- export MAVEN_HOME=/opt/modules/apache-maven-2.2.1
- export PATH=$MAVEN_HOME/bin:$PATH
- export ANT_HOME=/opt/modules/apache-ant-1.9.2
- export PATH=$ANT_HOME/bin:$PATH
说明：$MAVEN_HOME/conf/setting.xml 文件需要配置正常的仓库路径，以及本地路径。
二、安装 LZO
操作如下：
- wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
- export CFLAGS=-m32
- ./configure -enable-shared
- make && make install
完成之后，lib 库文件被默认安装到了 /usr/local/lib，我们需要进一步指定 lzo 库文件的路径，两个方法都可以：
1)拷贝 /usr/local/lib 目录下的 lzo 库文件到 /usr/lib（32 位平台），或 /usr/lib64（64 位平台）
2)在 /etc/ld.so.conf.d/ 目录下新建 lzo.conf 文件，只需写入 lzo 库文件的路径(/usr/local/lib)，然后运行以下命令使配置生效：
/sbin/ldconfig -v
三、安装 hadoop-LZO
提醒：lzo 目前有大概 2 个版本可选，Hadoop 1.x 的时候可以按照 cloudera 的文档在 https://github.com/kevinweil/hadoop-lzo 上编译，它是 fork 自 https://github.com/twitter/hadoop-lzo。kevinweil 这个版本在 hadoop1.0.3 上不适用，有些接口已经不能用了。因为 kevinweil 这个版本已经很久没有更新了，而且它是基于 Hadoop 0.20 去编译的，也不能用于 Hadoop2.x。而 twitter hadoop-lzo 在最近将 Ant 的编译方式切换为 Maven，默认的 dependency 中 Hadoop jar 包就是 2.x 的，所以要 clone twitter 的 hadoop-lzo，用 Maven 编译 jar 包和 native library。
1. 下载源码
https://github.com/kevinweil/hadoop-lzo 或
https://github.com/twitter/hadoop-lzo
2. 解压缩、进入项目目录
略
3. 编译
编译分 kevinweil 和 twitter 两个版本分别说明。主要是编译方式不同，一个使用 ant,twitter 使用 maven。
kevinweil：
- # 32 位 OS
- export CFLAGS=-m32
- export CXXFLAGS=-m32
- ant compile-native tar
- # 64 位 OS
- export CFLAGS=-m64
- export CXXFLAGS=-m64
- ant compile-native tar
- # 将本地库以及 Jar 包拷贝到 hadoop 对应的目录下，并分发到各节点上
- cd build
- cp hadoop-lzo-0.4.18.jar /opt/modules/hadoop/hadoop-1.0.3/lib/
- cp –r native/Linux-i386-32/* /opt/modules/hadoop/hadoop-1.0.3/lib/native/Linux-i386-32/ #64 位系统则是 64 位的路径目录 Linux-amd64-64
- # 或者用命令：tar -cBf – -C native . | tar -xBvf – -C /opt/modules/hadoop/hadoop-1.0.3/lib/native
Twitter:
- export CFLAGS=-m32 #64 位的使用 m64
- export CXXFLAGS=-m32
- export C_INCLUDE_PATH=/usr/local/include/lzo
- export LIBRARY_PATH=/usr/local/lib
- mvn clean package -Dmaven.test.skip=true
- tar -cBf – -C native/Linux-i386-32/lib . | tar -xBvf – -C /opt/modules/hadoop/hadoop-1.0.3/lib/native/
- cp target/hadoop-lzo-0.4.19-SNAPSHOT.jar /opt/modules/hadoop/hadoop-1.0.3/lib
最终确保 $HADOOP_HOME/lib/native/Linux-i386-32/ 目录下有 libhadoop.*、及 libgplcompression.*
注：如果编译不过，尝试执行:
- export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/
相关阅读：
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm
更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
