我如何知道我的 Foundry 工作是否使用增量计算？

Question

我想知道我正在调试的工作是否使用增量计算，因为这对于我的调试技术是必需的。

Answer 1

有两种方法可以说明：作业的 Spark 详细信息将表明这一点（如果它使用 Python），它的代码也将表明这一点。

火花详细信息

如果您导航到此处所述的 Spark 详细信息页面，您会注意到有一个用于Snapshot / Incremental的选项卡。 在此选项卡中，如果您的作业正在使用 Python ，您将获得有关您的作业是否正在使用增量计算运行的描述。 如果页面报告No Incremental Details Found并且您最近运行了该作业，这意味着它没有使用增量计算。 但是，如果您的工作有些旧（通常超过几天），这可能不正确，因为这些 Spark 详细信息会因保留原因而被删除。

检查您的作业信息是否因保留而被删除的一种快速方法是导航到“查询计划”选项卡并查看是否存在任何信息。 如果什么都不存在，这意味着您的 Spark 详细信息已被删除，您需要重新运行您的作业才能看到任何内容。 如果您想要一种更可靠的方法来确定作业是否使用增量计算，我建议您遵循下面的第二种方法。

代码

如果您导航到支持转换的代码，您将需要查找几个指标，具体取决于所使用的语言。

Python

如果使用增量计算，Transform 将有一个@incremental()装饰器。 然而，这并不表示它是否会选择写入或读取增量视图。 支持代码可以选择它希望执行的读取或写入类型，因此您需要更仔细地检查代码以了解其写入的目的。

from transforms.api import transform, Input, Output, incremental

@incremental() # This being present indicates incremental computation
@transform(...)
def my_compute_function(...):
  ...

Java

Transform 将在支持代码中覆盖getReadRange和getWriteMode方法。