如何从 AWS Glue 脚本更新/删除雪花

Question

我想删除雪花表中数据框对象中的记录。

同样，我想根据雪花表中数据框中的“键”执行更新。

我的研究表明 utils 方法可以执行 DDL 操作，但我无法找到一些示例来参考。

Answer 1

正如您所提到的，您可以使用 Utils 对象的 runQuery() 方法来执行 DDL/DML SQL 语句：

https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#executing-ddl-dml-sql-statements

如果你想根据一些键来做，那么你可以在 DataFrame 上迭代项目，并为每个项目运行一个 SQL：

如何遍历pyspark中的每一行dataFrame

但这将是一个性能杀手。 Snowflake 是一个数据仓库，因此您应该始终更喜欢“批量更新”而不是单行更新。

我建议您将数据帧写入 Snowflake 中的暂存表，然后调用 SQL 以根据暂存表更新目标表中的行。