PySpark：從另一個 Notebook 導入變量時，如何抑制 PySpark 單元中的 %run 輸出？

Question

我在 PySpark 中使用多個筆記本，並使用%run path在這些筆記本中導入變量。 每次運行命令時，我在原始筆記本中顯示的所有變量都會再次顯示在當前筆記本（我在其中運行的筆記本）中。 但我不希望它們顯示在當前筆記本中。 我只想能夠使用導入的變量。 如何抑制每次顯示的輸出？ 請注意，我不確定這是否重要，但我在 DataBricks 中工作。 謝謝！

命令示例：

%run /Users/myemail/Nodebook

Answer 1

這是預期的行為，當您使用%run命令時，您可以在筆記本中包含另一個筆記本。 此命令可讓您連接代表關鍵 ETL 步驟、Spark 分析步驟或臨時探索的各種筆記本。 但是，它缺乏構建更復雜數據管道的能力。

Notebook 工作流是%run的補充，因為它們允許您從 Notebook 返回值。 這使您可以輕松構建具有依賴項的復雜工作流和管道。 您可以正確地參數化運行（例如，獲取目錄中的文件列表並將名稱傳遞給另一個筆記本——這是%run 無法實現的），還可以根據返回值創建 if/then/else 工作流。 筆記本工作流允許您通過相對路徑調用其他筆記本。

您可以使用 dbutils.notebook 方法實現筆記本工作流。 這些方法與所有 dbutils API 一樣，僅在 Scala 和 Python 中可用。 但是，您可以使用 dbutils.notebook.run 來調用 R 筆記本。

有關更多詳細信息，請參閱“ Databricks - Notebook 工作流”。

Answer 2

您可以使用單元格右上角切換中的“隱藏結果”選項：