心海恋歌 发表于 2018-11-1 09:33:29

local hadoop设置

  在hive0.7的版本中增加了local hadoop的功能,就是在处理数据量比较小的情况在本地执行,而不走分布的mapred。
  这样一来,那些比较小的任务的执行速度就会大大提高。
  那到底什么样的任务会采用local hadoop呢,是由hive的一个参数控制的。
  hive.exec.mode.local.auto.inputbytes.max
  当处理的数据量比这个参数值小的情况下就会采用local hadoop的方式来执行。
  如果想要屏蔽掉local hadoop的功能,只需要把这个参数设置为-1即可。
  
  hive.exec.mode.local.auto.inputbytes.max
  -1
  

页: [1]
查看完整版本: local hadoop设置