ma-hadoop1 集群内存设置

龍子

　　如下介绍是 hadoop1 的非 yarn下内存分配设置：
　　1. 内存
　　hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。
　　大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文件的数据块的引用。
单独设置namenode的内存，可以通过HADOOP_NAMENODE_OPTS来设置。
单独设置secondrynamenode的内存，可以通过HADOOP_SECONDARYNAMENODE_OPTS来设置，使得它与namenode保持一致。
单独设置datanode的内存，可以通过HADOOP_DATANODE_OPTS来设置
单独设置BalancerNode的内存，可以通过HADOOP_BALANCER_OPTS来设置
单独设置jobtracker的内存，可以通过HADOOP_JOBTRACKER_OPTS来设置
此外，tasktracker启动独立的子JVM以运行map和reduce任务，分配给每个子JVM的内存量由mapred.child.java.opts属性（mapred-site.xml）控制，默认值为200M。
　　星环内存设置：
/etc/hdfs1/conf/hadoop-env.sh   hdfs的内存设置如下

export HADOOP_NAMENODE_OPTS="-Xmx32205m -Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"    31.5G
export HADOOP_SECONDARYNAMENODE_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS"   4G
export HADOOP_DATANODE_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS"   4G
export HADOOP_BALANCER_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS"   4G
　　/etc/mapreduce1/conf/hadoop-env.sh   mapreduce的内存设置如下

export HADOOP_JOBTRACKER_OPTS="-Xmx4096m -Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS"  4G
export HADOOP_TASKTRACKER_OPTS="-Xmx4096m $HADOOP_TASKTRACKER_OPTS"    4G
　　
2. 最大map任务数
　　一个tasktracker能够同时运行最大map任务数，由mapred.tasktracker.map.tasks.maximum属性（mapred-site.xml）控制，默认为2。
　　3. 最大reduce任务数
　　一个tasktracker能够同时运行最大reduce任务数，由mapred.tasktracker.reduce.tasks.maximum属（mapred-site.xml）性控制，默认为2。
　　如果使用默认每个节点2个map slots, 2个reduce slots时,当来了3个map任务时,第三个map任务会在别的
　　2个map任务执行完毕后在进入map slots执行。
　　关于map reduce task个数的设置，以及这两个任务内存的分配设置，在星环配置文件中设置如下：

<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>24</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>12</value>
</property>
<property>
<name>mapred.child.java.opts</name>    运行map/reduce任务的内存
<value>-Xmx4096m -XX:+UseConcMarkSweepGC -XX:ParallelCMSThreads=1 -XX:ParallelGCThreads=1</value>
</property>

　　
 
个人觉得，上述设置后，每个工作节点 使用的内存为：
datanode系统进程内存4G  + tasktracker系统进程内存4G +  tasktracker系统进程内存 4G+ 4G + (24+12)*4G = 156G 
　　
上述这种设置下， map+reduce任务数 / 工作节点cpu核数(25)  = 1.5 倍，
　　在一个128G内存的工作节点下，上面设置的map/reduce任务内存为4G合适，、
　　这个工作节点不一定就 会将map reduce任务都占满并运行，大多情况下是占满map，
　　这样， 4G + (24)*4G = 100G  正好还有 28G的内存给当前工作机器别的任务使用，比如集群通讯等
　　
 
4. 小总结：计算节点的内存占用量。 
　　默认情况下，一个同时运行了namenode，secondarynamenode和jobtracker的主节点(系统进程)，各自使用1000M内存，所以总计使用3000M(2.92G)。
默认情况下，一个从节点运行了如下守护进程：
　　1个datanode：默认占用1000M内存。
1个tasktracker：默认占用1000M内存。
上面是hadoop系统进程占据内存
=============================================================================
下面是工作进程占用内存,这里使用map task个数的默认值，reduce task个数的默认值
最多2个map任务：2*200M=400M。
最多2个reduce任务：2*200M=400M。
即默认情况下，一个从节点需要使用2800M内存量(2.74G)。
　　
在一个tasktracker上能够同时运行的任务数取决于这台机器上有多少个处理器。
由于mapreduce作业通常是I/O-bound，因此将任务数设定为超出处理器数也有一定道理，可以获得更好的利用率。
经验法则是任务总数（map任务数与reduce任务数之和）与处理器的比值在1和2之间, 
即任务总数最少为节点处理器个数，
查看当前机器cpu个数：

[iyunv@chinadaas01 ~]# grep "model name" /proc/cpuinfo | wc -l
24
　　
例如，假设一台8个处理器的工作节点，每个处理器上运行2个进程，
则可以将最大map任务数和最大reduce任务数分别设置成7（因为还有datanode和tasktracker进程，所以不能设置为8），
各个JVM子任务可用内存设置为400M，则总内存开销=1000M(datanode)+1000M(tasktracker)+7*400M(map)+7*400M(reduce)=7600M(7.5G)
　　这样配置是否合理，还需要考虑是否给这台机器上的其他进程预留了足够内存，否则可能导致各进程在系统中不断切换，导致性能恶化。
可以使用一些工具来监控集群的内存使用情况来进行优化，例如Ganglia工具。
　　hadoop也可以设置mapreduce操作所能使用的最大内存量，这是分别针对各项作业进行设置的。（详见《hadoop权威指南》117页的“shuffle和排序”小节）
　　即集群中，工作节点 map/reduce任务 个数和任务内存设置，要参考如下公式：

1   工作节点cpu个数=<任务总个数 <= 工作节点cpu个数的2倍
2   保证工作节点内存 > (datanode)内存+(tasktracker)内存+(map task内存)*(map task总个数)+ (redcue task内存)*(reduce task总个数)