Hadoop 任务调度

远行的心

　　mapred-site.xml 文件
　　<property>
　　<name>mapred.jobtracker.taskScheduler</name>
　　<value>org.apache.hadoop.mapred.FairScheduler</value> // 确保存在此Jar包
　　</property>
　　<property>
　　<name>mapred.fairscheduler.allocation.file</name>
　　<value>/opt/hadoop/conf/fair-scheduler.xml</value> // 
　　</property>
　　<property>
　　<name>mapred.fairscheduler.poolnameproperty</name> //
　　<value>user.name</value>
　　</property>
　　fair-scheduler.xml   文件 （公平调度器样例）
　　<allocations>
　　<pool name="hadoop">  // 用户名称可使用的Map Reduce 资源
　　<minMaps>5</minMaps>
　　<minReduces>5</minReduces>
　　<maxMaps>8</maxMaps>
　　<weight>2.0</weight>
　　</pool>
　　<user name="hadoop"> // 用户hadoop可并发执行的任务数
　　<maxRunningJobs>1</maxRunningJobs>
　　</user>
　　<user name="biansutao"> // 用户biansutao可并发执行的任务数
　　<maxRunningJobs>1</maxRunningJobs>
　　</user>
　　<userMaxJobsDefault>3</userMaxJobsDefault> // 默认用户可执行的任务数
　　<pool name="biansutao"> // 用户biaosutao可使用的Map Reduce 资源
　　<minMaps>5</minMaps>
　　<minReduces>5</minReduces>
　　<maxMaps>8</maxMaps>
　　<weight>2.0</weight>
　　</pool>
　　<pool name="default">  // 默认没有配置的其他用户可以使用的 Map Reduce  资源
　　<minMaps>15</minMaps>
　　<minReduces>15</minReduces>
　　<maxMaps>20</maxMaps>
　　</pool>
　　</allocations>
　　备注： 此文件只要有一份在JobTracker 机器所在的节点即可，修改后自动生效不用重启（Hadoop）




参考：
http://dongxicheng.org/mapreduce/hadoop-permission-management/
http://hadoop.apache.org/mapreduce/docs/r0.21.0/fair_scheduler.html
http://hadoop.apache.org/common/docs/r0.20.2/fair_scheduler.html
http://hadoop.apache.org/common/docs/r0.20.2/service_level_auth.html
http://hi.baidu.com/youziguo/blog/item/35f1958937bba5cffd1f10aa.html
http://forum.hadoop.tw/viewtopic.php?f=4&t=60
http://hadoop.apache.org/common/docs/r0.20.2/cluster_setup.html#Configuring+the+Hadoop+Daemons