cqlinx 发表于 2018-11-1 09:34:28

HADOOP 多任务运行

  作者:云中哈哈
  ericlzyu#gmail.com
  http://hi.baidu.com/lzyu
  2011.7.3
  今天搞定了关于公平调度器的配置。记录下。可以多个JOB一起跑了。
  在 HADOOP/conf/mapred-site.xml中,配置相关的变量 
  
  mapreduce.jobtracker.taskScheduler
  org.apache.hadoop.mapred.FairScheduler
  
  
  mapred.fairscheduler.allocation.file
  /home/hdfs/hadoop-0.20.2-CDH3B4/conf/fair-scheduler.xml
  
  第一个属性是启动调度器。
  第二个是指定调度器所使用的相关参数。
  而相关的参数。可以参考官方的来进行配置。
  http://hadoop.apache.org/mapreduce/docs/r0.21.0/fair_scheduler.html
  完成。
  提示一点:请在配置前。确定在不用调度器前,本系统能顺利执行。

页: [1]
查看完整版本: HADOOP 多任务运行