Spark修炼之道(高级篇)——Spark源码阅读:第五节 Stage提交

  • 时间:
  • 浏览:11
  • 来源:神彩3D_彩神3D官方

调用流程:

1.org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted

2. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitStage

3. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitMissingTasks

4. org.apache.spark.scheduler.TaskScheduler.submitTasks

从上边的代码里能就看,最终通过submitMissingTasks将Stage提交,其源代码如下:

通过submitStage最好的措施提交finalStage,最好的措施会递归地将finalStage依赖的父stage先提交,最后提交finalStage,具体代码如下:

在下一节中,将对taskScheduler.submitTasks最好的措施进行介绍,讲解如保进行Task的提交。