Databricks 笔记本单元格运行时

Question

有没有办法使用 Pyspark 获取数据块笔记本中特定单元格的运行时间？

Answer 1

import time
start = time.time()

time.sleep(3)
end = time.time()
diff=end - start
print(diff)

我能够用上面的代码实现我的要求

Answer 2

您可以通过调用 System.nanoTime (Scala) 来执行此操作。 将 Spark 与 Scala 一起使用时，执行代码并测量其运行时间的方法是使用：spark.time(

注意：您可以使用 %magic 命令在笔记本中运行多种语言。

要么