胶水无法识别 Delta Lake Python 库

Question

我正在尝试在我的 Glue 作业中使用 Delta Lake Python 库。 但是，我的 Glue 作业无法识别它，并且出现错误“NameError：name 'DeltaTable' is not defined”。 根据 Glue-DeltaLake 文档，我添加了参数 --datalake-formats = delta 并更新了所需的 spark 配置

.config("spark.sql.extensions","io.delta.sql.DeltaSparkSessionExtension")
.config("spark.sql.catalog.spark_catalog","org.apache.spark.sql.delta.catalog.DeltaCatalog")

我的代码在下面一行失败

deltaTable = DeltaTable.forPath(self.spark,self.dest_path_sdad)

有任何想法吗？

Answer 1

这些配置属性使用 Delta Lake 文件格式配置 Glue，因此您可以编写spark.read.format("delta").load(...)或df.write.format("delta").save(...) 。 但他们不提供 Python API 可用作delta-spark package。它可以通过使用--additional-python-modules选项 ( doc ) 提供给 Glue。

Answer 2

我错过了进口声明

from delta.tables import *