gaojinguan 发表于 2017-12-17 11:15:27

生活不仅是苟且,有时还很TM狗血啊...

  正文:
  一.体系背景
  首先和大家说明一下:hadoop的心跳机制的底层是通过RPC机制实现的,这篇文章我只介绍心跳实现的代码,对于底层的具体实现,大家可以参考我的另几篇博客:
  1. hadoop的RPC机制(参考:http://www.cnblogs.com/sh425/p/6893491.html )
  2. 动态代理(参考 :http://www.cnblogs.com/sh425/p/6893662.html )
  3. Java NIO(参考 :http://www.cnblogs.com/sh425/p/6893501.html)
  以上三篇文章和这篇文章完整地分析了hadoop的数据传输过程。大家可以当成一个体系来阅读。
  二.心跳机制
  1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。
  2. master启动的时候,会开一个ipc server在那里,等待slave心跳。
  3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。
  4. 需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。
  三.Datanode、Namenode心跳源码分析
  既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:
  代码一:
页: [1]
查看完整版本: 生活不仅是苟且,有时还很TM狗血啊...