Hadoop-2.2.0中文文档——Apache Hadoop 2.2.0 概览

peiyuan1030

学习Hadoop也有一段时间了。起先从Hadoop-1.2.1开始，略会写点MapReduce,还是想要跟上Hadoop发展的步伐，虽说现在官方已经发布2.4.0版本了，但是稳定版还是2.2.0。在机器上跑了一下，发现2.x比起1.x，变化还是很大的，更加模块化了。决定从官网的文档开始入手，现在也略有些时间，就一边学习一边将其翻译成中文好了，不过英文比较烂。大概每天翻译一节吧。
-----------------------------------------------------------------------------------------------
Apache Hadoop 2.2.0

Apache Hadoop 2.2.0 比起之前的稳定发行版（hadoop-1.x），有一些明显的改进。


这是对HDFS和MapReduce的改进的简短概览。

• HDFS Federation(联合)
  

    为了能对name service进行水平的扩展，federation使用了多个独立的Namenodes/Namespaces。这些Namenodes是联合的，也就是说，这些Namenodes是独立的并且不要求相互协调。datanodes被namenodes用来作为块的公共存储区。每个datanode在集群中所有的namenode上都会进行注册，datanodes将周期性的给namenodes发送心跳检测、块报告和一些操作命令。
更多细节可以查看HDFS Federration文档。

• MapReduce NextGen aka YARN aka MRv2（MapReduce下一代 又叫YARN 又叫MRv2）
  

   在hadoop-0.23中引入了新的架构，把Jobtracker划分成了两个主要的功能：资源管理和job生命周期管理变成  两个独立的组件。
新的资源管理器将在全局为应用分配计算资源，每个应用的应用管理器管理着应用的调度和协调。
一个应用要么是一个经典的mapreduce job要么是一个DAG job。
资源管理器和每台机器NodeManager守护进程，管理者用户在那台机器上的处理，组成计算网。
每一个应用的应用管理器，实际上是一个特定的类库框架，其任务是同ResourceManager协调资源，并且同NodeManager一起执行和监视任务。
更多细节可查看YARN文档。


开始
Hadoop 文档包含了你开始使用Hadoop所需要的信息。从单节点安装开始，这里会告诉你如何设置一个单节点。之后就转向集群设置学习如何设置一个集群。