阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop的namenode做NFS灾备

207次阅读
没有评论

共计 2318 个字符,预计需要花费 6 分钟才能阅读完成。

1. 首先选定一台灾备机器作为 NFS 服务器

(1)安装如下:

apt-get install nfs-kernel-server  (NFS 服务器, 提供 nfs 服务)

apt-get install portmap (端口映射服务器,主要是 RPC 程序号转化为 Internet 的端口号)

(2)在 /etc/exports 文件中 设置需要挂载为 nfs 服务的目录

Hadoop 的 namenode 做 NFS 灾备

注:/home/Hadoop/name  表示挂载的目录

* 表示任意 IP,这里大家可以根据需求配置,如 10.10.*.*

(rw,sync,no_subtree_check)这里指挂载目录的相关设置(详细描述见文后备注),此处因为要提供给 namenode 写权限,故应该配置为 rw

(3)重新启动 NFS 服务(使 exports 修改生效,当然还有另外的命令 这里就不再多侃了)

sudo  /etc/init.d/nfs-kernel-server restart  或者 sudo service nfs-kernel-server restart,  另外 start,stop,status 就不详述了

至于 portmap 的相关命令同上

(4)查看挂载目录是否成功

showmount -e

2.  在 namenode 上安装 NFS 客服端

(1)apt-get install nfs-common (NFS 客户端, 访问 nfs)

(2)挂载 NFS 目录到本地

mount      IP:/home/hadoop/name  /home/hadoop/nfs

挂载命令    NFS 服务的 IP 及路径            本地目录(必须为已存在的目录)

umount  /home/hadoop/nfs  卸载目录  如果出现 device is busy 错误  可以另加 -l  参数强制卸载

3.  配置 namenode 下 hdfs-site.xml 文件的 dfs.name.dir 配置里加上挂载的路径 /home/hadoop/nfs

上传中 …

Hadoop 的 namenode 做 NFS 灾备

4.  重启 hadoop

然后去 NFS 服务器 /home/hadoop/name  目录下查看是否已经有 namenode 的 fsimage 等文件

有则证明配置成功。

如出现不能访问指定目录(/home/hadoop/nfs)的错误,请检查 NFS 服务器端文件权限问题是否为只可读(ro)

备注:有关 NFS 配置还有不明的请去参考网上其他文章,本文重点不在介绍配置 NFS,故不作更多的描述。

以下是挂载文件的一些配置参数及含义,仅供参考

ro                      只读访问

rw                      读写访问

sync                    所有数据在请求时写入共享

async                  NFS 在写入数据前可以相应请求

secure                  NFS 通过 1024 以下的安全 TCP/IP 端口发送

insecure                NFS 通过 1024 以上的端口发送

wdelay                  如果多个用户要写入 NFS 目录,则归组写入(默认)

no_wdelay              如果多个用户要写入 NFS 目录,则立即写入,当使用 async 时,无需此设置。

hide                    在 NFS 共享目录中不共享其子目录

no_hide                共享 NFS 目录的子目录

subtree_check          如果共享 /usr/bin 之类的子目录时,强制 NFS 检查父目录的权限(默认)

no_subtree_check        和上面相对,不检查父目录权限

all_squash              共享文件的 UID 和 GID 映射匿名用户 anonymous,适合公用目录。

no_all_squash          保留共享文件的 UID 和 GID(默认)

root_squash            root 用户的所有请求映射成如 anonymous 用户一样的权限(默认)

no_root_squas          root 用户具有根目录的完全管理访问权限

anonuid=xxx            指定 NFS 服务器 /etc/passwd 文件中匿名用户的 UID

anongid=xxx            指定 NFS 服务器 /etc/passwd 文件中匿名用户的 GID

下面关于 Hadoop 的文章您也可能喜欢,不妨看看:

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址:http://www.linuxidc.com/Linux/2015-11/125375.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计2318字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中