Spark避免分區覆蓋

Question

我正在編寫一個將日志數據保存到目錄/logroot的Spark應用程序。

我的代碼是

myDF.mode('overwrite').partitionBy('date','site').save('logroot')

我想使用overwrite模式，以便每周一次多次重新處理所有每日數據。

我擔心的是， overwrite清除所有logroot目錄，而不僅是所涉及的分區。

我怎么解決這個問題？

Answer 1

在撰寫本文時，最好的解決方案似乎是：

• 從初始數據框中提取應清除的分區名稱
• 使用hadoop fs api清理這些分區
• 使用append mode保存數據框

感謝所有人的幫助，並希望Spark伙計們將提供一個更優雅的解決方案選項。

羅伯托