DataWorks:依赖上一周期(跨周期依赖)解析

  • 时间:
  • 浏览:0
  • 来源:神彩3D_彩神3D官方

③自定义:

依赖上一周期和依赖本周期的区别:

有问题可下方留言

节点依赖关系:手动时需依赖的节点(多个节点用英文下的逗号分隔)​

节点依赖:本次任务运行依赖本节点上一周期任务运行情況,上一周期任务未完成将阻塞本周期任务运行。

新的节点如下:节点id:30374815

业务场景:本次任务运行依赖上一周期下游节点对本节点的结果表(本节点输出表)进行清洗的最终结果(是是否是正常产出)。

节点sql解析:xc_select节点中查询xc_create节点中的表数据,通过自动解析功能解析将xc_create节点作为本节点依赖的上游。

节点sql解析:xc_create节点创建xc_1,xc_2两张表(或产出两张表的数据并将xc_1,xc_2作为本节点的输出。

业务场景:业务逻辑上时需依赖或多或少的业务数据正常产出,若果 本任务中这样 操作该业务数据。

本文档均以修改xc_create节点的配置为案例。

  A:A任务配置时,时需勾选“依赖上一周期” 选“本节点”,若果 B任务的定时时间为0点,若果每天自动调度实例里B任务实例就只依赖A 任务0点实例即A任务第一有另一5个实例。

【实时场景三】:天任务依赖小时任务,不时需依赖今天的数据,只时需依赖昨天的小时数据(直接依赖今天的小时任务实例愿因下 游天任务小时到第半个月才完成)

【实时场景二】:我的需求是A任务每天每小时整点执行一次,B任务每天跑一次,若果 希望A任务每天第一次跑成功后B任务就跑起, 若果时需为社 会 配置?

运维中心展示如下:

业务场景:该任务运行依赖上一周期下游任务对本任务的结果表(本节点输出表)进行清洗的最终结果(下游任务运行成功,本节点本周期任务之后现在开始运行,若果 反之)。

  A:天任务调度配置界面选取“依赖上一周期”-“自定义”,将上游小时任务的节点id填进去后,重新提交发布。

xc_create节点代码及配置

注意:在运维中心中查看节点依赖关系时,所有跨周期依赖的节点时需以虚线 的形式展示。也是任务实际的依赖,下线任务之后这主次的依赖关系也时需打上去,也是任务运行时需判断的条件之一。

运维中心周期任务依赖如图:

业务场景:本次任务数据依赖上次数据清洗情況。

节点依赖关系:依赖当前节点的下游,类式 节点A指在下游节点B、C、D有另一5个节点,依赖一层子节点是节点A依赖B、C、D有另一5个节点的上一周期。

xc_create 选取依赖一层子节点

肯能下游是分钟任务若果 分钟任务这样 做自依赖,这样 该任务会依赖分钟任务昨天所有的实例和今天所有的实例。

业务流程节点依赖关系

xc_create表配置如图(为便于观察,我将本节点设置为小时调度任务)

运维中心任务依赖关系如图:

业务场景:本次任务运行依赖上一周期该任务的业务数据的产出情況。

xc_select节点代码及配置

运维中心的周期实例查看依赖情況,如图:

节点依赖:代码中这样 用到30374815节点的产出表若果 业务上时需取依赖该30374815节点的上一周期数据是是否是顺利产出从节点关系来说:xc_create节点时需依赖30374815节点上一周期。

节点依赖:依赖当前节点的下游,类式 节点A指在下游节点B、C、D有另一5个节点,依赖一层子节点是节点A依赖B、C、D有另一5个节点的上一周期。

②本节点:

xc_create节点依赖的上游选取自定义,选取30374815节点。

节点依赖关系:跨周期自依赖(依赖当前节点的上一周期。)

业务场景:业务逻辑上时需依赖30374815任务的业务数据正常产出,若果 本任务(xc_create)中这样 操作该业务数据。

【实时场景一】:无法选取上游什么时间产出数据时,本节点可对上游做跨周期依赖。

可是 ,该出二选一!!!请根据实际情況作出选取。

注意:依赖上一周期和依赖同周期两处填写了一有另一5个节点任务,会依赖该节点任务今天和昨天所有的实例。

①一层子节点: