SPARK SQL java.lang.OutOfMemoryError：超出GC開銷限制

Question

我嘗試獲取一天的數據以測試並使用 Spark SQL 創建一個臨時表。 之后，我在臨時表上執行我的查詢。 所以這個過程可以很快，但仍然會遇到 GC 內存問題。

火花配置：

sparkConf = new SparkConf().setMaster("local[1]").setAppName("Scheduler"); 
sparkConf.set("spark.driver.memory", "2g") ; 
sparkConf.set("spark.executor.memory", "1g"); 
sparkConf.set("spark.memory.onHeap.size","1g") ; 
sparkConf.set("spark.num.executors", "4"); 
sparkConf.set("spark.executor.cores", "1"); 
sparkConf.set("spark.serializer", KryoSerializer.class.getName());

Answer 1

當 GC 活動消耗一定百分比的 CPU 資源時，也會發生 OoM。 我會嘗試增加堆和/或使用分析工具 jconsole 或 visualvm 來檢查根本原因是什么