我如何知道我的 Foundry 工作是否使用增量計算？

Question

我想知道我正在調試的工作是否使用增量計算，因為這對於我的調試技術是必需的。

Answer 1

有兩種方法可以說明：作業的 Spark 詳細信息將表明這一點（如果它使用 Python），它的代碼也將表明這一點。

火花詳細信息

如果您導航到此處所述的 Spark 詳細信息頁面，您會注意到有一個用於Snapshot / Incremental的選項卡。 在此選項卡中，如果您的作業正在使用 Python ，您將獲得有關您的作業是否正在使用增量計算運行的描述。 如果頁面報告No Incremental Details Found並且您最近運行了該作業，這意味着它沒有使用增量計算。 但是，如果您的工作有些舊（通常超過幾天），這可能不正確，因為這些 Spark 詳細信息會因保留原因而被刪除。

檢查您的作業信息是否因保留而被刪除的一種快速方法是導航到“查詢計划”選項卡並查看是否存在任何信息。 如果什么都不存在，這意味着您的 Spark 詳細信息已被刪除，您需要重新運行您的作業才能看到任何內容。 如果您想要一種更可靠的方法來確定作業是否使用增量計算，我建議您遵循下面的第二種方法。

代碼

如果您導航到支持轉換的代碼，您將需要查找幾個指標，具體取決於所使用的語言。

Python

如果使用增量計算，Transform 將有一個@incremental()裝飾器。 然而，這並不表示它是否會選擇寫入或讀取增量視圖。 支持代碼可以選擇它希望執行的讀取或寫入類型，因此您需要更仔細地檢查代碼以了解其寫入的目的。

from transforms.api import transform, Input, Output, incremental

@incremental() # This being present indicates incremental computation
@transform(...)
def my_compute_function(...):
  ...

Java

Transform 將在支持代碼中覆蓋getReadRange和getWriteMode方法。