试用hadoop jvm复用配置
Hadoop默认为每个task（maptask 或者 reduce task） 启动一个jvm。鉴于目前小文件过多的问题，设置了jvm复用，即一个job内，多个task共享jvm，避免多次启动jvm，浪费资源和时间。
测试Job信息：
map：4715个
reduce：20个
input： 34G
output: 25G
优化前：1464s
优化后：1375s
Job运行时间减少 6%
CPU使用率情况：
*注意: mapred.job.reuse.jvm.num.tasks这个参数是客户端参数，修改不需要重启tasktracker，可以在提交job的shell或者代码中设置。
-- heipark
页:
[1]