Python笔记本output格式

Question

我对 Databricks 很陌生，我正在尝试从另一个笔记本中的一个笔记本捕获 output。

这是我的代码：

笔记本1

%python
result = dbutils.notebook.run("/01.Mig/SM02. Project /02 Processing Staging/04 User Notebooks/Notebook1", 60)
print("Result: " + result )
if result == 0: dbutils.notebook.exit
else: dbutils.notebook.run("/01.Mig/SM02. Project/02 Processing Staging/04 User Notebooks/Output",60)

笔记本2

%python
resultValue = spark.sql("select count(1) from Notes_Final where record1 like 'GAB%'")
dbutils.notebook.exit(str(resultValue))

从 Notebook2 传回的结果是DataFrame[count(1): bigint] 。 我需要它从 Notebook2 中的 SQL 传回计数值，而不是数据类型。

我错过了什么？

Answer 1

您需要将结果值收集回驱动程序，即使这样，您也可能需要将该值作为字符串打印出来，然后再将其作为退出值传递给 dbutils。

您的代码实际上并没有执行计数 - 它只是创建一个 DAG 来生成结果。 一旦您对结果 dataframe 调用.collect() ，它将执行 DAG 并为您提供计数。 然后，您可以将此计数作为笔记本的退出值传递。 正如我所说，您可能必须通过打印将其作为字符串传递。