hadoop job推测执行
什么是推测执行？
所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），原有任务和新任务哪个先执行完就把另外一个kill掉
怎么配置推测执行参数？
推测执行需要设置Job的两个参数：
mapred.map.tasks.speculative.execution
mapred.reduce.tasks.speculative.execution
两个参数的默认值均为true.
推测执行调度策略是什么？
推测执行逻辑：
// 1. Check bottom up for speculative tasks from the running cache
// 2. Check breadth-wise for speculative tasks
// 3. Check non-local tips for speculation
关键逻辑比较执行时间超过平均task执行时间某个百分比，定位为需要推测执行的job
//SPECULATIVE_GAP =0.2
(averageProgress - progress >= SPECULATIVE_GAP ) && (currentTime - startTime >= SPECULATIVE_LAG
P.s. 看源码的时候看到调度map task的策略，故记下。
JobInProgress添加新的maptask的调度策略
// When scheduling a map task:
// 0) Schedule a failed task without considering locality
// 1) Schedule non-running tasks
// 2) Schedule speculative tasks
// 3) Schedule tasks with no location information
map task调度策略：
1、失败的task，不考虑地点
2、没跑过的task
3、推测执行的task
4、nonLocalRunningMaps中的task
页:
[1]