Azure 数据块更新/删除 Azure 突触表中的记录

Question

我在 pyspark/python 中有一个 databricks 笔记本。 我有一个 azure 突触数据库。 我想更新 Synapse 表中的单个记录。 好像是原版

df.write \.
format("com.databricks.spark.sqldw") \

没有这些选项。 它只有 append，覆盖......所以需要其他库来帮助？

Answer 1

我相信您应该加载到 Synapse 中的临时表，然后使用.option("postActions",postActionsSQL)将/更新/删除到最终表中。 这是一个完整的例子。

Answer 2

我会将 output 临时加载到 ADLS 到文件（最有可能是镶木地板），然后使用 polybase 或OPENROWSET更新记录（使用提到的外部表进行连接更新或合并）。您可以创建存储过程并与创建镶木地板同步。

我猜微软会建议不要将数据块用作单独的资源，而是在 Synapse Studio 中使用火花池。