hadoop yarn组件介绍
Yarn的产生mapReduc1.0
1单点故障
2扩展效率低
3资源利用率高
降低运维成本
方便数据共享
多计算框架支持
MapReduce
Spark
Storm
Yarn的架构图
Yarn模块介绍
ResourceManger
负责集群资源的统一管理和调度
处理客户端请求
启动/监控ApplicationMaster
监控NodeManager
资源的分配与调度
NodeManager
负责单点资源的管理和使用
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
ApplicationMaster
负责应用程序的管理
数据的切分
为应用程序申请资源。并进一步分给内部任务
任务的监控与容错
Container
任务环境的抽象
任务运行的资源
任务启动命令
任务运行环境
Yarn资源调度器
多类型资源调度
Drf算法
Cpu和内存两种资源
提供多种资源调度
Fifo
队列 capaity Scheduler
Fair Scheduler
多租户的资源调度器
支持资源按比例分配
支持层级队列的划分
支持资源的枪占
Yarn 资源隔离方案
内存绝定生死
Cpu决定快慢
Yarn运行流程的描述
1由client端向ResourceManager 发送请求，
2 ResourceManager启动一个Contariner（容器）用于运行ApplicationMaster
3 ApplicationMaster启动完成后会向ResourceManager建立心跳机制
4 当处理机制不够时，ApplicationMaster会向ResourceManager发送申请请求
5 当ResourceManager接收到请求后会查询可用的contariner让后发送ApplicationMaster
6 由ApplicationMaster进行初始化，AplicationMaster与对应的nodeManage通信
要求nodeManager启动Contarner aplicationMaster与nodeManger建立心跳机制
从而对nodeManager运行的任务进行监控和管理
7 contariner运行期间，ApplicationMaster对Contariner进行监控，contarner通过rpc协议
向对应的ApplicationMaseter汇报自己的状态和进度
8运行期间client 直接与ApplicationMaster通信获取状态，进度
9 结束后ApplicationMaster会向ResourceManager汇报并且注销自己，并允许所属的Contariner收回
页:
[1]