Python筆記本output格式

Question

我對 Databricks 很陌生，我正在嘗試從另一個筆記本中的一個筆記本捕獲 output。

這是我的代碼：

筆記本1

%python
result = dbutils.notebook.run("/01.Mig/SM02. Project /02 Processing Staging/04 User Notebooks/Notebook1", 60)
print("Result: " + result )
if result == 0: dbutils.notebook.exit
else: dbutils.notebook.run("/01.Mig/SM02. Project/02 Processing Staging/04 User Notebooks/Output",60)

筆記本2

%python
resultValue = spark.sql("select count(1) from Notes_Final where record1 like 'GAB%'")
dbutils.notebook.exit(str(resultValue))

從 Notebook2 傳回的結果是DataFrame[count(1): bigint] 。 我需要它從 Notebook2 中的 SQL 傳回計數值，而不是數據類型。

我錯過了什么？

Answer 1

您需要將結果值收集回驅動程序，即使這樣，您也可能需要將該值作為字符串打印出來，然后再將其作為退出值傳遞給 dbutils。

您的代碼實際上並沒有執行計數 - 它只是創建一個 DAG 來生成結果。 一旦您對結果 dataframe 調用.collect() ，它將執行 DAG 並為您提供計數。 然后，您可以將此計數作為筆記本的退出值傳遞。 正如我所說，您可能必須通過打印將其作為字符串傳遞。