formatuu 发表于 2016-12-9 11:23:25

Hadoop 控制split尺寸

三个参数决定Map的Split尺寸

1.mapred.min.split.size
2.mapred.max.split.size
3.dfs.block.size

根据公式:
               max(minimumSize,min(maximumSize,blockSize))
默认情况:
               minimumSize < blockSize < maximumSize

例子:
   min    max    block    split
   1M   100M64M      64M
   128M   512M64M      128M
   1M   32M    64M      32M
页: [1]
查看完整版本: Hadoop 控制split尺寸