运维网's Archiver
论坛
›
spark
› 王家林每日大数据语录Spark篇0017(2015.11.6于南宁)
yao000
发表于 2019-1-31 06:58:24
王家林每日大数据语录Spark篇0017(2015.11.6于南宁)
在Spark的Stage内部的每个Partition都会被分配一个计算任务Task,这些Task是并行执行的; Stage之间的依赖关系变成了一个大粒度的DAG,Stage只有在它没有parent Stage或者parent Stage都已经执行完成后才可以执行,也就是说DAG中的Stage是从前往后顺序执行的。
页:
[1]
查看完整版本:
王家林每日大数据语录Spark篇0017(2015.11.6于南宁)