共计 7934 个字符,预计需要花费 20 分钟才能阅读完成。
环境介绍 :
在两台装有 CentOS 6.4(32 位)的服务器上安装 Hadoop-2.5.1 分布式集群(2 台机器,主要试验用)。
1.修改主机名和 /etc/hosts 文件
1)修改主机名(非必要)
vi /etc/sysconfig/network
HOSTNAME=XXX
重启后生效。
2)/etc/hosts 是 ip 地址和其对应主机名文件,使机器知道 ip 和主机名对应关系,格式如下:
#IPAddress HostName
192.168.1.67 MasterServer
192.168.1.241 SlaveServer
2.配置免密码登陆 SSH
1)生成密钥:
ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
以上是两个单引号。
2)将 id_dsa.pub(公钥)追加到授权的 key 中:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3)将认证文件复制到其它节点上:
scp ~/.ssh/authorized_keys hadooper@192.168.1.241:~/.ssh/
第一次要确认连接,输入 yes 即可。
但我的仍要求输入密码,原因是.ssh 和 authorized_keys 权限不对,具体见:http://www.linuxidc.com/Linux/2014-10/107762.htm
3.各节点上安装 jdk
1)选择的版本是 jdk-6u27-linux-i586.bin,下载地址:http://pan.baidu.com/s/1dDGi5QL
2)上传到 hadooper 用户目录下,添加执行权限
chmod 777 jdk-6u27-linux-i586.bin
3)安装
./jdk-6u27-linux-i586.bin
4)配置环境变量:vi /etc/profile 加入以下三行
#Java_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27
export PATH=$JAVA_HOME/bin:$PATH
5)执行 source /etc/profile 使环境变量的配置生效
6)执行 java –version 查看 jdk 版本,验证是否成功。
4. Hadoop 安装
每台节点都要安装 hadoop。上传 hadoop-2.5.1.tar.gz 到用户 hadooper 目录下。
1)解压
tar -zvxf hadoop-2.5.1.tar.gz
2)添加环境变量:vi /etc/profile,尾部添加如下
export HADOOP_HOME=/home/hadooper/hadoop/hadoop-2.5.1
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
设置立即生效:
source /etc/profile
3)修改 Hadoop 配置文件
(1)core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://MasterServer:9000</value>
</property>
(2)hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
(3)mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>MasterServer:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>MasterServer:19888</value>
</property><span style=”font-family: Arial, Helvetica, sans-serif;”> </span>
jobhistory 是 Hadoop 自带了一个历史服务器,记录 Mapreduce 历史作业。默认情况下,jobhistory 没有启动,可用以下命令启动:
sbin/mr-jobhistory-daemon.sh start historyserver
(4)yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>MasterServer:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>MasterServer:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>MasterServer:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>MasterServer:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>MasterServer:8088</value>
</property>
(5)slaves
SlaveServer
(6)分别在 hadoop-env.sh 和 yarn-env.sh 中添加 JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27
————————————– 分割线 ————————————–
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm
————————————– 分割线 ————————————–
更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-10/107763p2.htm
5. 运行 Hadoop
1)格式化
hdfs namenode –format
2)启动 Hadoop
start-dfs.sh
start-yarn.sh
也可以用一条命令:
start-all.sh
3)停止 Hadoop
stop-all.sh
4)jps 查看进程
7692 ResourceManager
8428 JobHistoryServer
7348 NameNode
14874 Jps
7539 SecondaryNameNode
5)通过浏览器查看集群运行状态
(1)http://192.168.1.67:50070
(2)http://192.168.1.67:8088/
(3)http://192.168.1.67:19888
6. 运行 Hadoop 自带的 wordcount 示例
1)建立输入文件:
echo “My first hadoop example. Hello Hadoop in input. ” > input
2)建立目录
hadoop fs -mkdir /user/hadooper
3)上传文件
hadoop fs -put input /user/hadooper
4)执行 wordcount 程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /user/hadooper/input /user/hadooper/output
5)查看结果
hadoop fs -cat /user/hadooper/output/part-r-00000
Hadoop 1
My 1
example.Hello 1
first 1
hadoop 1
in 1
input. 1
更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
环境介绍 :
在两台装有 CentOS 6.4(32 位)的服务器上安装 Hadoop-2.5.1 分布式集群(2 台机器,主要试验用)。
1.修改主机名和 /etc/hosts 文件
1)修改主机名(非必要)
vi /etc/sysconfig/network
HOSTNAME=XXX
重启后生效。
2)/etc/hosts 是 ip 地址和其对应主机名文件,使机器知道 ip 和主机名对应关系,格式如下:
#IPAddress HostName
192.168.1.67 MasterServer
192.168.1.241 SlaveServer
2.配置免密码登陆 SSH
1)生成密钥:
ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
以上是两个单引号。
2)将 id_dsa.pub(公钥)追加到授权的 key 中:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3)将认证文件复制到其它节点上:
scp ~/.ssh/authorized_keys hadooper@192.168.1.241:~/.ssh/
第一次要确认连接,输入 yes 即可。
但我的仍要求输入密码,原因是.ssh 和 authorized_keys 权限不对,具体见:http://www.linuxidc.com/Linux/2014-10/107762.htm
3.各节点上安装 jdk
1)选择的版本是 jdk-6u27-linux-i586.bin,下载地址:http://pan.baidu.com/s/1dDGi5QL
2)上传到 hadooper 用户目录下,添加执行权限
chmod 777 jdk-6u27-linux-i586.bin
3)安装
./jdk-6u27-linux-i586.bin
4)配置环境变量:vi /etc/profile 加入以下三行
#Java_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27
export PATH=$JAVA_HOME/bin:$PATH
5)执行 source /etc/profile 使环境变量的配置生效
6)执行 java –version 查看 jdk 版本,验证是否成功。
4. Hadoop 安装
每台节点都要安装 hadoop。上传 hadoop-2.5.1.tar.gz 到用户 hadooper 目录下。
1)解压
tar -zvxf hadoop-2.5.1.tar.gz
2)添加环境变量:vi /etc/profile,尾部添加如下
export HADOOP_HOME=/home/hadooper/hadoop/hadoop-2.5.1
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
设置立即生效:
source /etc/profile
3)修改 Hadoop 配置文件
(1)core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://MasterServer:9000</value>
</property>
(2)hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
(3)mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>MasterServer:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>MasterServer:19888</value>
</property><span style=”font-family: Arial, Helvetica, sans-serif;”> </span>
jobhistory 是 Hadoop 自带了一个历史服务器,记录 Mapreduce 历史作业。默认情况下,jobhistory 没有启动,可用以下命令启动:
sbin/mr-jobhistory-daemon.sh start historyserver
(4)yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>MasterServer:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>MasterServer:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>MasterServer:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>MasterServer:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>MasterServer:8088</value>
</property>
(5)slaves
SlaveServer
(6)分别在 hadoop-env.sh 和 yarn-env.sh 中添加 JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/jdk1.6/jdk1.6.0_27
————————————– 分割线 ————————————–
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm
————————————– 分割线 ————————————–
更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-10/107763p2.htm
![post-qrcode](https://www.xgss.net/wp-content/uploads/2023/07/二维码-微信公众号256x256.jpg)