Databricks 筆記本單元格運行時

Question

有沒有辦法使用 Pyspark 獲取數據塊筆記本中特定單元格的運行時間？

Answer 1

import time
start = time.time()

time.sleep(3)
end = time.time()
diff=end - start
print(diff)

我能夠用上面的代碼實現我的要求

Answer 2

您可以通過調用 System.nanoTime (Scala) 來執行此操作。 將 Spark 與 Scala 一起使用時，執行代碼並測量其運行時間的方法是使用：spark.time(

注意：您可以使用 %magic 命令在筆記本中運行多種語言。

要么