Hadoop 相关节点说明
Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。
HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。
NameNode:负责记录文件是如何分割数据块，以及这些分别被存储的。
DataNode:负责把HDFS数据块读写到本地文件系统中。
SecondaryNode:次要的nameNode,它与nameNode通信，保存最新的nameNode快照。
当nameNode宕机能及时当作备用nameNode使用。
Jobtracker:主要负责任务的接受，初始化，调度以及对TaskTracker的监控。
TaskTracker:具体的任务内容。
HDFS －写文件:
client - nameNode(写请求),nameNode根据文件大小分割数据块.
nameNode - client(响应请求),响应nameNode的数据块信息.
client - dataNode(存取数据块,并且进行备份).
HDFS - 读文件:
client - nameNode(读请求).
nameNode - client(响应请求),返回nameNode数据块的信息.
client - dataNode(读数据块)
HDFS设计特点:
1.块存放:默认分三块保存。
2.心跳监控dataNode状态,如发现问题及时备份，保证数据安全.
3.数据复制dataNode失败，需要平衡节点的利用率。采用threshold配置.
4.数据交验采用crc32.
5.nameNode单点失败任务处理信息保存在本地系统文件.
页:
[1]