Hadoop2集群搭建过程

207次阅读

没有评论

共计 10155 个字符，预计需要花费 26 分钟才能阅读完成。

在这里我选用 4 台机器进行示范，各台机器的职责如下表格所示

Hadoop2 集群搭建过程

（说明：1. ZooKeepe 使用其它节点的 2. Hadoop0 节点安装所有的 master, ha 的 matster 全部是 worker, 以达到较高的资源利用率，又对 master 的负载不会过高）

Hadoop0 -> dchadoop206
Hadoop1 -> dchadoop207
Hadoop2 -> dchadoop208
Hadoop3 -> dchadoop209

1. 搭建自动 HA
1.1. 复制编译后的 hadoop 项目到 /usr/local 目录下
1.2. 修改位于 etc/hadoop 目录下的配置文件

1.1.1. hadoop-env.sh
export Java_HOME=/usr/local/jdk

1.1.1. core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>

【这里的值指的是默认的 HDFS 路径。当有多个 HDFS 集群同时工作时，用户如果不写集群名称，那么默认使用哪个哪？在这里指定！该值来自于 hdfs-site.xml 中的配置。在节点 hadoop0 和 hadoop1 中使用 cluster1，在节点 hadoop2 和 hadoop3 中使用 cluster2】

<property>
<name>hadoop.tmp.dir</name>
<value>/data0/hadoop/tmp</value>
</property>

【这里的路径默认是 NameNode、DataNode、JournalNode 等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。】

<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop0:2181,hadoop1:2181,hadoop2:2181</value>
</property>

【这里是 ZooKeeper 集群的地址和端口。注意，数量一定是奇数，且不少于三个节点】

</configuration>

1.1.1. hdfs-site.xml
该文件只配置在 hadoop0 和 hadoop1 上。
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

【指定 DataNode 存储 block 的副本数量。默认值是 3 个，我们现在有 4 个 DataNode，该值不大于 4 即可。】

<property>
<name>dfs.namenode.name.dir</name>
<value>file:///data0/hadoop2/hdfs/name</value>
</property>

【指定 namenode 元数据信息存储位置】

<property>
<name>dfs.datanode.data.dir</name> <value>file:///data0/hadoop2/hdfs/data,file:///data1/hadoop2/hdfs/data,file:///data2/hadoop2/hdfs/data,file:///data3/hadoop2/hdfs/data,file:///data4/hadoop2/hdfs/data,file:///data5/hadoop2/hdfs/data,file:///data6/hadoop2/hdfs/data,file:///data7/hadoop2/hdfs/data,file:///data8/hadoop2/hdfs/data,file:///data9/hadoop2/hdfs/data,file:///data10/hadoop2/hdfs/data</value>
</property>

【指定 datanode 元数据信息存储位置, 设置成所有的磁盘】

<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
</property>

【设置 cluster1 的 namenode id。】

<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>hadoop0,hadoop1</value>
</property>

【指定 NameService 是 cluster1 时的 namenode 有哪些，这里的值也是逻辑名称，名字随便起，相互不重复即可】

<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop0</name>
<value>hadoop0:9000</value>
</property>

【指定 hadoop0 的 RPC 地址】

1234 <property>
<name>dfs.namenode.http-address.cluster1.hadoop0</name>
<value>hadoop0:50070</value>
</property>

【指定 hadoop0 的 http 地址】

1234 <property>
<name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
<value>hadoop1:9000</value>
</property>

【指定 hadoop1 的 RPC 地址】

<property>
<name>dfs.namenode.http-address.cluster1.hadoop1</name>
<value>hadoop1:50070</value>
</property>

【指定 hadoop1 的 http 地址】

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1</value>
</property>

【指定 cluster1 的两个 NameNode 共享 edits 文件目录时，使用的 JournalNode 集群信息】

<property>
<name>dfs.ha.automatic-failover.enabled.cluster1</name>
<value>true</value>
</property>

【指定 cluster1 是否启动自动故障恢复，即当 NameNode 出故障时，是否自动切换到另一台 NameNode】

<property>
<name>dfs.client.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

【指定 cluster1 出故障时，哪个实现类负责执行故障切换】

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/data0/hadoop2/hdfs/journal</value>
</property>

【指定 JournalNode 集群在对 NameNode 的目录进行共享时，自己存储数据的磁盘路径】

<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>

【一旦需要 NameNode 切换，使用 ssh 方式进行操作】

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

【如果使用 ssh 进行故障切换，使用 ssh 通信时用的密钥存储的位置】
</configuration>

1.2.4. slaves
hadoop1
hadoop2
hadoop2
1.3. 把以上配置的内容复制到 hadoop1、hadoop2、hadoop3 节点上
1.4. 修改 hadoop1、hadoop2、hadoop3 上的配置文件内容
1.4.1. 修改 hadoop2 上的 core-site.xml 内容
fs.defaultFS 的值改为 hdfs://cluster2

1.4.1. 修改 hadoop2 上的 hdfs-site.xml 内容
把 cluster1 中关于 journalnode 的配置项删除，增加如下内容
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value>
</property>

1.4.3. 开始启动
1.4.3.1. 启动 journalnode
在 hadoop0、hadoop1、hadoop2 上执行
sbin/hadoop-daemon.sh startjournalnode

1.4.3.1. 格式化 ZooKeeper
在 hadoop0、hadoop2 上执行
bin/hdfs zkfc -formatZK
zkCli.sh–>ls->/Hadoop-ha/cluster1

Hadoop2 集群搭建过程

1.4.3.3. 对 hadoop0 节点进行格式化和启动
bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode

1.4.3.4. 对 hadoop1 节点进行格式化和启动
bin/hdfs namenode -bootstrapStandby

sbin/hadoop-daemon.sh start namenode

1.4.3.5. 在 hadoop0、hadoop1 上启动 zkfc
1 sbin/hadoop-daemon.sh start zkfc

我们的 hadoop0、hadoop1 有一个节点就会变为 active 状态。
1.4.3.6. 对于 cluster2 执行类似操作

1.4.4. 启动 datanode
在 hadoop0 上执行命令
sbin/hadoop-daemons.sh start datanode

1.5. 配置 Yarn
1.5.1. 修改文件 mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop0:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop0:19888</value>
</property>
<property>
<name>mapreduce.task.io.sort.factor</name>
<value>20</value>
<description>The number of streams to merge at once while sorting
files. This determines the numberof open file handles.</description>
</property>
<property>
<name>mapreduce.reduce.shuffle.parallelcopies</name>
<value>40</value>
<description>The default number of parallel transfers run byreduce
during the copy(shuffle) phase.
</description>
</property>
<property>
<name>mapreduce.job.reduce.slowstart.completedmaps</name>
<value>0.80</value>
<description>Fraction of the number of maps in the job whichshould be
complete before reduces are scheduled for the job.
</description>
</property>
<property>
<name>mapreduce.task.io.sort.mb</name>
<value>300</value>
<description>The total amount of buffer memory to use whilesorting
files, in megabytes. By default,gives each merge stream 1MB, which
should minimize seeks.</description>
</property>
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
<description>Should the outputs of the maps be compressed beforebeing
sent across the network. UsesSequenceFile compression.
</description>
</property>

<property>
<name>mapreduce.client.submit.file.replication</name>
<value>5</value>
<description> 默认 10，The replication level for submitted job files. This
should be around thesquare root of the number of nodes.
</description>
</property>

1.5.2. 修改文件 yarn-site.xml
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>

【打开 resourcemanager ha 模式】

<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-ha-cluster</value>
</property>

【打开 resourcemanager ha 的集群名称，这个名称可以在 zookeeper 中查看】

<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

【设置 resourcemanager 的 id, 可以与主机同名】

<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop0</value>
</property>

【指定 rm1 对应哪一台主机】

<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop1</value>
</property>

【指定 rm1 对应哪一台主机】

<property>
<name>yarn.resourcemanager.zk-address</name>
<value>zk1:2181,zk2:2181,zk3:2181</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!— 用什么方式进行数据传递 ->

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

【设置日志合并】

<property>
<name>yarn.application.classpath</name>
<value>
/usr/local/hadoop-2.5.0-cdh5.3.8/etc/hadoop,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/common/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/common/lib/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/hdfs/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/hdfs/lib/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/yarn/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/yarn/lib/*,
/usr/local/hbase-0.98.6-cdh5.3.8/lib/*,
/usr/local/hadoop-2.5.0-cdh5.3.8/lib_dc/*,
/usr/local/hbase-0.98.6-cdh5.3.8/conf/
</value>
</property>

【设置 classpath, 没有新增外部 jar 的话，不需要配这个】

<!– 设置调度器类型为 CapacityScheduler，默认是公平调度器 –>
<property>
<name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

<!– 设置 nodemanager 节点内存大小，CPU 个数 –>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>28672</value>
</property>

【设置 nodemanager 节点内存大小 28G】

<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>14</value>
</property>

【设置 nodemanager 节点内存大小 14 个 core】

<property>
<name>yarn.timeline-service.enabled</name>
<value>true</value>
</property>

【打开 timeline 服务】

1.5.3 修改环境变量（可以不改，使用默认配置）
1.5.3.1 修改 yarn-env.sh
YARN_LOG_DIR=/data0/hadoop2/logs

【修改 yarn 的日志目录，默认在 $HADOOP_HOME/logs 下】

1.5.3.2 修改 hadoop-env.sh
1 export JAVA_HOME=/usr/java/jdk1.7.0_25

【修改 jdk】

export HADOOP_LOG_DIR=/data0/hadoop2/logs

【修改 hadoop 的日志目录，默认在 $HADOOP_HOME/logs 下】

export HADOOP_PID_DIR=/data0/hadoop2/pid

【修改 hadoop pid 目录】

1.5.5 修改 capacity-scheduler.xml 这个文件（可选，设置调度器为 CapacityScheduler 时，可以通过这个配置文件修改作业队列）
<configuration>
<!– compare memroy only –>
<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
</property>

<!– more chance for app master that will launch MR jobs –>
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.9</value>
</property>

【appMaster 可以使用集群多少资源】

<!– 打开异步调度 –>
<property>
<name>yarn.scheduler.capacity.schedule-asynchronously.enable</name>
<value>true</value>
</property>

<!– 定义队列名称 queues,dev–>
<property>
<name>yarn.scheduler.capacity.root.queues</name>
<value>default,dev</value>
</property>

<property>
<name>yarn.scheduler.capacity.root.dev.capacity</name>
<value>50</value>
</property>

【设置队列 dev 的能力大小占集群的 50%】

<property>
<name>yarn.scheduler.capacity.root.default.capacity</name>
<value>50</value>
</property>

【设置队列 default 的能力大小占集群的 50%】
</configuration>

1.5.4 启动 yarn
在 hadoop0 上执行
sbin/start-yarn.sh

下面关于 Hadoop 的文章您也可能喜欢，不妨看看：

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm