Hadoop 任务调度
mapred-site.xml 文件<property>
<name>mapred.jobtracker.taskScheduler</name>
<value>org.apache.hadoop.mapred.FairScheduler</value> // 确保存在此Jar包
</property>
<property>
<name>mapred.fairscheduler.allocation.file</name>
<value>/opt/hadoop/conf/fair-scheduler.xml</value> //
</property>
<property>
<name>mapred.fairscheduler.poolnameproperty</name> //
<value>user.name</value>
</property>
fair-scheduler.xml 文件 （公平调度器样例）
<allocations>
<pool name="hadoop"> // 用户名称可使用的Map Reduce 资源
<minMaps>5</minMaps>
<minReduces>5</minReduces>
<maxMaps>8</maxMaps>
<weight>2.0</weight>
</pool>
<user name="hadoop"> // 用户hadoop可并发执行的任务数
<maxRunningJobs>1</maxRunningJobs>
</user>
<user name="biansutao"> // 用户biansutao可并发执行的任务数
<maxRunningJobs>1</maxRunningJobs>
</user>
<userMaxJobsDefault>3</userMaxJobsDefault> // 默认用户可执行的任务数
<pool name="biansutao"> // 用户biaosutao可使用的Map Reduce 资源
<minMaps>5</minMaps>
<minReduces>5</minReduces>
<maxMaps>8</maxMaps>
<weight>2.0</weight>
</pool>
<pool name="default"> // 默认没有配置的其他用户可以使用的 Map Reduce 资源
<minMaps>15</minMaps>
<minReduces>15</minReduces>
<maxMaps>20</maxMaps>
</pool>
</allocations>
备注： 此文件只要有一份在JobTracker 机器所在的节点即可，修改后自动生效不用重启（Hadoop）
参考：
http://dongxicheng.org/mapreduce/hadoop-permission-management/
http://hadoop.apache.org/mapreduce/docs/r0.21.0/fair_scheduler.html
http://hadoop.apache.org/common/docs/r0.20.2/fair_scheduler.html
http://hadoop.apache.org/common/docs/r0.20.2/service_level_auth.html
http://hi.baidu.com/youziguo/blog/item/35f1958937bba5cffd1f10aa.html
http://forum.hadoop.tw/viewtopic.php?f=4&t=60
http://hadoop.apache.org/common/docs/r0.20.2/cluster_setup.html#Configuring+the+Hadoop+Daemons
页:
[1]