SparkSession.catalog.clearCache() 可以從 hdfs 中刪除數據嗎？
[英]Can SparkSession.catalog.clearCache() delete data from hdfs?
問題描述
自從我們從 CDH 遷移到 HDP（spark 2.2 到 2.3）后，我遇到了一些數據刪除問題。 這些表是從 hdfs 位置讀取的，在運行讀取和處理這些表的 spark 作業一段時間后，它會拋出table not found 異常，當我們檢查該位置時，所有記錄都消失了。 在讀取該表之前我看到的 spark(Java) 代碼中，調用了 clearCache()。 它可以刪除那些文件嗎？ 如果是，我該如何解決？
1 個解決方案
解決方案1
0 2020-08-19 09:57:19
我認為，您應該查看源代碼- Spark 有自己的緩存用戶數據實現，並且在通過 CacheManager 管理此緩存時，他們從不刪除相同的數據。 看一看
Spark catalog.clearCache 和非持久化 RDD
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.