Hadoop深入学习：MapReduce

dopost

本节我们主要来学习Hadoop MapReduce分布式计算框架，它主要分为两部分：编程模型和运行时环境。
        MapReduce编程模型为用户提供了简单易用的编程接口，可以让用户像编写不同的程序一向只要实现两个简单的函数(map()和reduce()函数)便实现一个分布式的应用程序，而其他的比价麻烦的和分布式相关的所有操作都由MapReduce的运行时环境来完成，用户并不需要关系这些细节——这当然是对编写MapReduce应用程序的初学者来说的，只需要关注业务就行了。

        同HDFS一样，MapReduce也采用Master/Slaves架构，一个主节点JobTracker和许多TaskTracker节点，其中JobTracker可能会出现单端故障的问题。
        让我们来看一下MapReduce架构的示意图：

        
        下面我们来看一下MapReduce结构中涉及的几个组件：
        Client
        用户编写的MapReduce程序由Client客户端提交给JobTracker节点，同时用户还可以通过Client的一些接口来查看作业的运行状态。

        JobTracker
        JobTracker节点是MapReduce分布式计算框架中的主节点，主要负责资源的监控和作业调度。
        JobTracker通过TaskTrackers节点发送给他的“心跳”来监控所有的TaskTrackers节点和作业的健康状况，一旦发现有TaskTrackers节点失败，就会将失败节点上的任务转移到其他TaskTrackers节点节点上重新执行，并在失败节点恢复后删除未执行完成的数据。
        JobTracker节点还会跟踪任务的进度和资源的使用状况等信息，并将这些信息“告诉”任务调度器，以便调度器给空闲的TaskTrackers节点分配新任务。

        TaskTracker
         TaskTracker节点主要是执行分配给自己的任务，可能是Map Task任务也可能是Reduce Task任务，并会周期性的以“心跳(HeartBeat)”的方式降本节点上的资源使用情况和任务执行进度汇报给JobTracker节点，同时接收JobTracker返回的命令如启动新任务、杀死任务和删除数据块等。
        TaskTracker节点使用“slot”等量的2划分该节点地上的资源量，slot代表CPU、内存等计算资源。一个Task只有获得一定量的slot之后才有机会允许，而Hadoop的调度器就是给空闲的TaskTracker分配slot这个活儿的。
        slot分为Map slot和Reduce slot两种，分别对应Map Task的计算资源和Reduce Task的计算资源，分别供两者使用，不能弄混。
        TaskTracker通过可配置的slot数目来控制Task的并发度。

        Task
        Task分为两种，即Map Task和Reduce Task，二者均由TaskTracker启动。
        在学习HDFS的时候，我们知道，HDFS以block为基本的存储单位来存储数据，而对MapReduce而言，其处理单位为split，一个split对应着一个mapper程序（鄙人之前一直认为一个HDFS的block数据块儿对应一个mapper程序）。
        split只是一个逻辑概念，他只包含一些元数据信息，比如数据起始位置、数据长度和数据所在的节点等信息，split的多少决定了Map Task地数目，即一个split对应这一个Map Task。
        那么HDFS的block和MapReduce的split之间到底有着什么样的关系呢？我们来看一下下图就知道二者有什么养的对应关系了：