CentOS7.2下Hadoop2.7.2集群搭建

196次阅读

共计 7543 个字符，预计需要花费 19 分钟才能阅读完成。

CentOS7.2 下 Hadoop2.7.2 的集群搭建

1. 基本环境：
操作系统：
Centos 7.2.1511
三台虚机：
192.168.163.224 master
192.168.163.225 node1
192.168.163.226 node2
软件包
hadoop-2.7.2.tar.gz
jdk-7u79-linux-x64.tar.gz

2. 配置系统环境
配置 ntp 时间同步
参考 http://www.linuxidc.com/Linux/2015-11/124911.htm

修改 hostname
192.168.163.224 主机：
echo “master” > /etc/hostname

192.168.163.225 主机：
echo “node1” > /etc/hostname

192.168.163.226 主机：
echo “node2” > /etc/hostname

master 上修改 hosts 文件
echo “192.168.163.224 master” >>/etc/hosts
echo “192.168.163.225 node1” >>/etc/hosts
echo “192.168.163.225 node2” >>/etc/hosts

同步到 node1，node2 上的主机
scp /etc/hosts node1:/etc/
scp /etc/hosts node2:/etc/

各台主机上相互 ping，测试是否可以通过 host 连通
ping master
ping node1
ping node2

master，node1，node2 上关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

3. 配置 hadoop 环境
master，node1，node2 上安装 jdk
rpm -qa|grep openjdk #检查 openjdk，存在则删除

yum remove *-openjdk-* #### 删除 openjdk#####

安装 sunjdk

###yum install glibc.i686(64 位系统安装 32 位包，需要安装)
tar -zxvf jdk-7u79-linux-x64.tar.gz
mv ./jdk1.7.0_79 /usr/

master，node1，node2 上创建 hadoop 用户

useradd hadoop #增加 hadoop 用户，用户组、home 目录、终端使用默认
passwd hadoop #修改密码
建议在学习阶段将 hadoop 用户加入 sudo 权限管理，简单方法如下
1. 执行 visudo 命令
2. 在 root ALL=(ALL) ALL 后加入
hadoop ALL=(ALL) ALL
master，node1，node2 上进入 hadoop 用户：
su – hadoop

master，node1，node2 上无密钥连接：
master 上的 hadoop 用户通过 rsa 算法生成非对称密钥对：
ssh-keygen -t rsa
cd /home/hadoop/.ssh/
cp id_rsa.pub authorized_keys
chmod go-wx authorized_keys

master 上的公钥 authorized_keys 拷贝到 node1，node2 上的 hadoop 用户
scp authorized_keys node1:/home/hadoop/.ssh/
scp authorized_keys node2:/home/hadoop/.ssh/

可通过如下命令测试
ssh node1
ssh node2
为方便 node1，node2 中 hadoop 用户可以同时登录 master，这里我们集群中的所有用户共用一个密钥
scp ~/.ssh/id_rsa node1:/home/hadoop/.ssh/
scp ~/.ssh/id_rsa node2:/home/hadoop/.ssh/

master，node1，node2 上修改环境变量
vi /etc/profile
Java_HOME=/usr/jdk1.7.0_79
HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
su – hadoop #重新读取环境变量

master，node1，node2 上创建相关目录
sudo mkdir -p /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop
sudo mkdir -p /data/hadoop/ #创建 hadoop 数据目录结构
sudo chown -R hadoop:hadoop /data/hadoop/
mkdir -p /data/hadoop/tmp/ #创建 tmp
mkdir -p /data/hadoop/hdfs/ #创建 hdfs
mkdir -p /data/hadoop/hdfs/data #创建 datanode 目录
mkdir -p /data/hadoop/hdfs/name #创建 namenode 目录
mkdir -p /data/hadoop/hdfs/namesecondary

安装 hadoop
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
tar -zxvf hadoop-2.7.2.tar.gz
mv hadoop-2.7.2 /usr/local/hadoop
chown -R hadoop:hadoop /usr/local/hadoop/

4. 修改配置文件
配置文件相关变量详细解释可查看官网：
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/
cd $HADOOP_HOME/etc/hadoop

4.1 vi hadoop-env.sh
export HADOOP_HEAPSIZE=128 #默认为 1000M，这里我们修改为 128M

4.2 vi core-site.xml #全局配置
<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
<!–hadoop namenode 服务器地址和端口，以域名形式 –>
</property>

<property>
<name>dfs.namenode.checkpoint.period</name>
<value>1800</value>
<!– editlog 每隔 30 分钟触发一次合并，默认为 60 分钟 –>
</property>

</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>

<property>
<name>fs.trash.interval</name>
<value>1440</value>
<!– Hadoop 文件回收站, 自动回收时间, 单位分钟, 这里设置是 1 天，默认为 0。–>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/tmp</value>
<!– Hadoop 的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的 DataNode 启动不了，就删除此文件中的 tmp 目录即可。不过如果删除了 NameNode 机器的此目录，那么就需要重新执行 NameNode 格式化的命令。/data/hadoop/tmp 这里给的路径不需要创建会自动生成.–>
</property>

<property>
<name>io.file.buffer.size</name>
<value>131702</value>
<!– 流文件的缓冲区 –>
</property>

</configuration>

4.3 vi hdfs-site.xml #hdfs 中 NameNode,DataNode 局部配置
<configuration>

<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hadoop/hdfs/name</value>
<!–HDFS namenode 数据镜象目录 –>
<description> </description>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hadoop/hdfs/data</value>
<!– HDFS datanode 数据镜象存储路径, 可以配置多个不同的分区和磁盘中, 使用, 号分隔 –>
<description> </description>
</property>

<property>
<name>dfs.namenode.http-address</name>
<value>master:50070</value>
<!—HDFS Web 查看主机和端口 –>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node1:50090</value>
<!– 辅控 HDFS web 查看主机和端口 –>
</property>

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
<!–HDFS 数据保存份数，通常是 3 –>
</property>

<property>
<name>dfs.datanode.du.reserved</name>
<value>1073741824</value>
<!– datanode 写磁盘会预留 1G 空间给其他程序使用, 而非写满, 单位 bytes–>
</property>

<property>
<name>dfs.block.size</name>
<value>134217728</value>
<!–HDFS 数据块大小，当前设置为 128M/Blocka–>
</property>

<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
<!– HDFS 关闭文件权限 –>
</property>

</configuration>

4.4 vi etc/hadoop/mapred-site.xml #配置 MapReduce，使用 yarn 框架、jobhistory 使用地址以及 web 地址
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:50030</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>http://master:9001</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

4.5 vi etc/hadoop/yarn-site.xml 配置 yarn-site.xml 文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>

4.6 vi hadoop-env.sh 及 vi yarn-env.sh
将其中的 ${JAVA_HOME}用 /usr/jdk1.7.0_79 代替

5. 检查单机版 Hadoop

测试 hdfs 中的 namenode 与 datanode：
hadoop-daemon.sh start namenode
chmod go-w /data/hadoop/hdfs/data/
hadoop-daemon.sh start datanode

测试 resourcemanager：
yarn-daemon.sh start resourcemanager

测试 nodemanager：
yarn-daemon.sh start nodemanager

测试 historyserver：
mr-jobhistory-daemon.sh start historyserver

执行 jps：
99297 Jps
99244 DataNode
98956 JobHistoryServer
98820 NodeManager
98118 NameNode
98555 ResourceManager

上述表明单机版 hadoop 安装成功

6. 集群搭建
scp -r $HADOOP_HOME/ node1:/usr/local/
scp -r $HADOOP_HOME/ node2:/usr/local/

在 master 上进行配置
vi $HADOOP_HOME/etc/hadoop/slaves
删除 localhost
添加
node1
node2
vi $HADOOP_HOME/etc/hadoop/masters
删除 localhost
添加
node1 #目的是为了在 node1 节点上存放 secondnamenode

7. 测试集群是否搭建成功
$HADOOP_HOME/bin/hdfs namenode -format
master 上
开启所有节点：start-all.sh(或 start-dfs 及 start-yarn.sh 代替)
各节点执行 jps
master：
98956 JobHistoryServer
98820 NodeManager
118806 Jps
118176 NameNode
118540 ResourceManager

node1：
106408 SecondaryNameNode
106602 Jps
106301 DataNode
106496 NodeManager

1234 node2：
105932 Jps
105812 NodeManager
105700 DataNode

存在上述状态，说明集群搭建成功
关闭所有节点：stop-all.sh(或 stop-dfs.sh 及 stop-yarn.sh 代替)

同时可以访问网页进行查看：
http://master:50070/
http://master:8088/

下面关于 Hadoop 的文章您也可能喜欢，不妨看看：

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm