共计 3102 个字符,预计需要花费 8 分钟才能阅读完成。
前提条件 :
安装 jdk-6u18
实现目的 :
在 Hadoop 集群中添加一个新增数据节点。
1. 创建目录和用户
mkdir /app/hadoop
usergroup hadoop
useradd licz -ghadoop -d /app/hadoop
chownlicz:hadoop /app/hadoop
2. 修改环境变量
[licz@server123 ~]$ vi .bash_profile
PATH=$PATH:$HOME/bin
export LANG=zh_CN
export PATH
unset USERNAME
export HADOOP_HOME=/app/hadoop/hadoop-1.2.1
export JAVA_HOME=/usr/java/jdk1.6.0_18
export HIVE_HOME=/app/hadoop/hive-0.11.0
export PIG_HOME=/app/hadoop/pig-0.12.0
export PIG_CLASSPATH=/app/hadoop/pig-0.12.0/conf
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin:$PIG_HOME/bin:$HIVE_HOME/bin
export PATH
export HADOOP_HOME_WARN_SUPPRESS=1
3. 修改 host 文件,添加服务器
[root@server123 ~]# vi /etc/hosts
10.1.32.91 nticket1
10.1.32.93 nticket2
10.1.32.95 nticket3
10.1.5.123 server123
同样在其它各节点都添加新的 server123 服务器
4. 配置 ssh 免密码连入
步骤为:
-> 在新节点上生成自己的密钥
-> 把原集群中的密钥复制添加到新节点的密钥当中
-> 再把新节点上的新密钥复制(覆盖)到原集群中的新节点
– 首先,为了避免误操作,操作之前要先备份原集群的密钥文件
[licz@nticket1 .ssh]$ cp authorized_keysauthorized_keys.bak
[licz@server123 ~]$ ssh-keygen -t rsa
[licz@server123 ~]$ cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
[licz@server123 ~]$ ssh nticket1 cat~/.ssh/authorized_keys >> ~/.ssh/authorized_keys
[licz@server123 ~]$ scp ~/.ssh/authorized_keysnticket1:~/.ssh/authorized_keys
[licz@server123 ~]$ ssh nticket1 date
2014 年 02 月 12 日 星期三 11:31:08 CST
[licz@nticket1 .ssh]$ ssh server123 date
三 2 月 1211:25:57 CST 2014
– 同样把新新密钥复制(覆盖)到原集群中的新节点
[licz@server123 ~]$ scp ~/.ssh/authorized_keysnticket2:~/.ssh/authorized_keys
[licz@server123 ~]$ scp ~/.ssh/authorized_keysnticket3:~/.ssh/authorized_keys
5. 修改 hadoop 配置文件
– 在各节点修改 hadoop 的配置文件
[licz@nticket1 conf]$ vi slaves
nticket2
nticket3
server123
6. 安装 hadoop
– 把集群中的 hadoop 复制到新节点
[licz@nticket2~]$ scp -r hadoop-1.2.1/server123:/app/hadoop
7. 在新节点上启动 datanode 和 tasktracker
[licz@server123~]$ hadoop-daemon.sh start datanode
startingdatanode, logging to /app/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-licz-datanode-server123.out
[licz@server123~]$ hadoop-daemon.sh start tasktracker
startingtasktracker, logging to /app/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-licz-tasktracker-server123.out
– 测试安装成功
[licz@server123 ~]$ jps
18356 DataNode
18517 TaskTracker
18780 Jps
8. 进行 block 块的均衡
– 在 hdfs-site.xml 中增加设置 balance 的带宽,默认只有 1M:
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>10485760</value>
<description>
Specifies the maximum bandwidth thateach datanode can utilize for the balancing purpose in term of the number ofbytes per second.
</description>
</property>
运行以下命令:
[licz@server123conf]$ start-balancer.sh -threshold 5
startingbalancer, logging to /app/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-licz-balancer-server123.out
– 测试
[licz@server123~]$ hadoop dfs -ls /user/hive
Found 1 items
drwxr-xr-x – licz supergroup 0 2014-02-10 11:25/user/hive/warehouse
相关阅读 :
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm
更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13