阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop-2.2.0中文文档——Apache Hadoop 2.2.0 概览

237次阅读
没有评论

共计 1621 个字符,预计需要花费 5 分钟才能阅读完成。

学习 Hadoop 也有一段时间了。起先从 Hadoop-1.2.1 开始,略会写点 MapReduce, 还是想要跟上 Hadoop 发展的步伐,虽说现在官方已经发布 2.4.0 版本了,但是稳定版还是 2.2.0。在机器上跑了一下,发现 2.x 比起 1.x,变化还是很大的,更加模块化了。决定从官网的文档开始入手,现在也略有些时间,就一边学习一边将其翻译成中文好了,不过英文比较烂。大概每天翻译一节吧。

相关阅读

  • Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
  • Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
  • Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
  • Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
  • 单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
  • 搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

———————————————————————————————–

Apache Hadoop 2.2.0

Apache Hadoop 2.2.0 比起之前的稳定发行版(hadoop-1.x),有一些明显的改进。

这是对 HDFS 和 MapReduce 的改进的简短概览。

•HDFS Federation(联合)

为了能对 name service 进行水平的扩展,federation 使用了多个独立的 Namenodes/Namespaces。这些 Namenodes 是联合的,也就是说,这些 Namenodes 是独立的并且不要求相互协调。datanodes 被 namenodes 用来作为块的公共存储区。每个 datanode 在集群中所有的 namenode 上都会进行注册,datanodes 将周期性的给 namenodes 发送心跳检测、块报告和一些操作命令。

更多细节可以查看 HDFS Federration 文档。

 •MapReduce NextGen aka YARN aka MRv2(MapReduce 下一代 又叫 YARN 又叫 MRv2)

在 hadoop-0.23 中引入了新的架构,把 Jobtracker 划分成了两个主要的功能:资源管理和 job 生命周期管理变成    两个独立的组件。

新的资源管理器将在全局为应用分配计算资源,每个应用的应用管理器管理着应用的调度和协调。

一个应用要么是一个经典的 mapreduce job 要么是一个 DAG job。

资源管理器和每台机器 NodeManager 守护进程,管理者用户在那台机器上的处理,组成计算网。

每一个应用的应用管理器,实际上是一个特定的类库框架,其任务是同 ResourceManager 协调资源,并且同 NodeManager 一起执行和监视任务。

更多细节可查看 YARN 文档。

开始

Hadoop 文档包含了你开始使用 Hadoop 所需要的信息。从单节点安装开始,这里会告诉你如何设置一个单节点。之后就转向集群设置学习如何设置一个集群(见 http://www.linuxidc.com/Linux/2014-04/100543.htm)。

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计1621字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中