20180528早课记录19-Hadoop
1.yarn的进程哪两个?NodeManager,ResourceManager
2.rm进程包含哪两个?
Applications Master, Resource Scheduler
3.容器什么单词? 是在NM节点上还是RM节点?
container, 在NM节点
4.内存参数和CPU参数 能记得几个?假如让你们去官网搜，你们会知道以什么关键词搜搜吗
yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores
5.作业程序的am是运行在nm节点的容器里吗？
是的
6.谈谈你们现阶段对shuffle的理解
shuffle是洗牌的意思 含义是按key进行分组
7.那么我们提交一个wordcount到yarn，那么那些log日志，仔细看看，其中有一步是spilt，那么一般和什么有关
和块大小有关
8.yarn杀死job的命令是什么
yarn application -kill jobid
9.hdfs一个文件130M，副本为3，请问多少块? 实际存储空间多少
6个块390M
10.hdfs读写流程和yarn的作业工作流程自己想想，是否会?脑子是否有图?
理解还不够全面
11.一般企业里，DN和NM节点部署在同一台机器上，是为什么?（思考题）
数据本地化
页:
[1]