膠水無法識別 Delta Lake Python 庫

Question

我正在嘗試在我的 Glue 作業中使用 Delta Lake Python 庫。 但是，我的 Glue 作業無法識別它，並且出現錯誤“NameError：name 'DeltaTable' is not defined”。 根據 Glue-DeltaLake 文檔，我添加了參數 --datalake-formats = delta 並更新了所需的 spark 配置

.config("spark.sql.extensions","io.delta.sql.DeltaSparkSessionExtension")
.config("spark.sql.catalog.spark_catalog","org.apache.spark.sql.delta.catalog.DeltaCatalog")

我的代碼在下面一行失敗

deltaTable = DeltaTable.forPath(self.spark,self.dest_path_sdad)

有任何想法嗎？

Answer 1

這些配置屬性使用 Delta Lake 文件格式配置 Glue，因此您可以編寫spark.read.format("delta").load(...)或df.write.format("delta").save(...) 。 但他們不提供 Python API 可用作delta-spark package。它可以通過使用--additional-python-modules選項 ( doc ) 提供給 Glue。

Answer 2

我錯過了進口聲明

from delta.tables import *