gmdzxx 发表于 2016-12-11 11:32:27

Hadoop-0.20.2的log存放时间控制

  1. 想要在JobTracker的WebUI上(master:50030)多保持几个job执行状态,默认是100个
  调整Hadoop配置文件,比如调整为200个
  <property>
  <name>mapred.jobtracker.completeuserjobs.maximum</name>
  <value>200</value>
  </property>
  2. 想要在JobTracker的WebUI上延长job执行状态的存放时间,默认是24小时,现在调整为72小时,也就是259200000微秒
  <property>
  <name>mapred.jobtracker.retirejob.interval</name>
  <value>259200000</value>
  </property>
  3. 想要在JobTracker的HistoryUI上延长Task log(Last 4KB,Last 8KB, ALL)的存放时间,默认是24小时,这个参数是MapReduce job控制的,要么在Hadoop的mapred-site.xml中设置该值为final或者在每个MapReduce job中设置为72
  <property>
  <name>mapred.userlog.retain.hours</name>
  <value>72</value>
  </property>
页: [1]
查看完整版本: Hadoop-0.20.2的log存放时间控制