试读《Hadoop基础教程》

座机

    大数据处理技术领域比较复杂，变化节奏很快，如何学习运用这些技术变得不知从何处下手。Hadoop是一种开源大数据处理技术框架，已经成为业界大数据处理技术的事实标准。对于想从事大数据处理工作的人来说，是绕不过Hadoop的。《Hadoop基础教程》是一本学习Hadoop入门的图书，进入大数据处理绝好途径之一。这本书可以帮助读者理解什么是Hadoop、Hadoop是如何工作的、以及我们如何通过Hadoop从海量的数据中获取有价值的数据信息。
    这次试读是本书的第一章和第四章。第一章详细介绍了Hadoop的产生历史背景，Hadoop是什么，业界使用Hadoop的情况。Hadoop的作者Doug Cutting也是开源网页搜索引擎Nutch的作者，其在开发Nutch同时其受到Google的两篇著名的论文GFS与MapReduce的启发，开发了这个分布式大数据处理框架，并以他儿子喜爱的玩具象Hadoop来命名，也可以这么说Hadoop是开源GFS与MapReduce的技术实现，设计运行在低成本的硬件做成的集群平台来处理大规模的数据集。在本章中介绍了Hadoop的组成部分：HDFS、MapReduce。HDFS是一个可以存储极大数据集的文件系统，它是通过向外扩展方式构建的主机集群。MapReduce是一个数据处理范式，它规范了数据在两个处理阶段（被称为Map和Reduce）的输入和输出，并将其应用于任意规模的大数据集。MapReduce与HDFS紧密结合，确保在任何情况下，MapReduce任务直接在存储所需数据的HDFS节点上运行。
    第四章介绍如何使用Hadoop重要组成部分之一MapReduce来解决实际问题。从编程角度来看，问题的解决在于如何编写符合要求的MapReduce程序。从本章中我们可以学习使用Hadoop Streaming脚本语言（Ruby、Python等）编写map和reduce任务；如何利用ChainMapper在一个作业中执行多个mapper任务；如果利用Distributed Cache在所有节点间共享数据；通过MapReduce Web UI了解任务状态信息和debug日志进行高效的作业分析。
    总的来说，这本书是一本hadoop基础入门的好书，书中提供了详细的实例帮助我们更好掌握Hadoop技术。同时有Hadoop开发经验的技术人员也适用，对于可以进一步加深对Hadoop的理解。