【Spark三十九】Spark比Hadoop速度快的原因总结
Spark的速度比Hadoop快将近100倍，原因都有哪些，本文进行归纳总结[*]Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，见http://www.cnblogs.com/hseagle/p/3673138.html
[*]Broadcast机制
[*]Cache
[*]Checkpoint
[*]Spark的计算模型
Hadoop每次计算先写磁盘，下次计算先从磁盘读，计算结果再写磁盘，如此往复。这对于迭代计算，是个噩梦
[*]-----Spark为每个应用程序在worker上开启一个进程，而一个Job中的Task会在同一个线程池中运行，而Hadoop Map Reduce的计算模型是每个Task(Mapper或者Reducer）都是一个单独的进程，启动停止进程非常expensive，同时，进程间的数据共享也不能基于内存，只能是HDFS。
[*]Spark任务调度模型
[*]-----一级调度DAGScheduler
[*]-----二级调度TaskScheduler
[*]容错性
[*]Shuffle方面的性能提升？
页:
[1]