hadoop工作原理
以下是老男孩教育整理的Hadoop工作原理，转载请注明出处：http://www.oldboyedu.comHadoop主要是分布式计算和存储的框架，其工作过程主要依赖于HDFS分布式存储系统和Mapreduce分布式计算框架，以下是其工作过程：
阶段 1
用户/应用程序可以通过指定以下项目来向Hadoop（hadoop作业客户端）提交作业以获取所需的进程：
分布式文件系统中输入和输出文件的位置。
java类以jar文件的形式包含map和reduce函数的实现。
通过设置作业的不同参数来配置作业。
阶段 2
Hadoop作业客户端然后将作业（jar /可执行文件等）和配置提交给JobTracker，JobTracker然后承担将软件/配置分发给从属的责任，Hadoop作业客户端然后将作业（jar /可执行文件等）和配置提交给JobTracker，JobTracker然后承担将软件/配置分发给从属的责任，
阶段 3
不同节点上的TaskTracker根据MapReduce实现执行任务，reduce函数的输出存储在文件系统上的输出文件中。
页:
[1]