如何在 scala 中不覆蓋的情況下將新列添加到增量表中

Question

我在 Azure Blob 存儲容器中有大增量表。 它存儲非常大的數據。 現在我想向這個現有的增量表中添加一個新列。 對於所有現有數據，我想給默認值 1。選項 1，我可以讀取整個增量表，添加新列，然后覆蓋。 但我不想覆蓋。 有沒有其他方法，我們可以在不覆蓋的情況下添加一個新列，只需為所有現有行提供默認值 1？

Answer 1

您可以嘗試如下

df.write.format("delta").mode("append").option("mergeSchema", "true").saveAsTable("tablename")