共计 1117 个字符,预计需要花费 3 分钟才能阅读完成。
安装好 Hadoop 后,使用 jps 会出现一下几个进程
master 中有:
namenode
secondaryNameNode
jobTracker
slaves 中有
tasktracker
datanode
1. NameNode
它是 Hadoop 中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问。
2. SecondaryNameNode
它不是 namenode 的冗余守护进程,而是提供周期检查点和清理任务。
出于对可扩展性和容错性等考虑,我们一般将 SecondaryNameNode 运行在一台非 NameNode 的机器上。
3. DataNode
它负责管理连接到节点的存储(一个集群中可以有多个节点)。每个存储数据的节点运行一个 datanode 守护进程。
4 和 5. JobTracker 和 TaskTracker
JobTracker 负责调度 DataNode 上的工作。每个 DataNode 有一个 TaskTracker,它们执行实际工作。
JobTracker 和 TaskTracker 采用主 - 从形式,JobTracker 跨 DataNode 分发工作,而 TaskTracker 执行任务。
JobTracker 还检查请求的工作,如果一个 DataNode 由于某种原因失败,JobTracker 会重新调度以前的任务。
CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm
更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13