线程“dispatcher-event-loop-5”java.lang.OutOfMemoryError 中的异常：超出 GC 开销限制：Spark

Question

有人可以在这里提出建议吗？ 我正在使用 spark submit 命令执行以下代码，该命令每 5 分钟从 src 配置单元表中获取数据（配置单元从 spark 流作业中获取数据，源是 Kafka），并在过去 2 小时内进行一些聚合在目标端进行分区。

val sparksql="insert OVERWRITE table  hivedesttable(partition_date,partition_hour) 
    select "some business logic with aggregation and group by condition" from hivesrctable
    where concat(partitionDate,":",partitionHour) in ${partitionDateHour}"

new Thread(new Runnable {
override def run(): Unit = {
while (true) {
val currentTs = java.time.LocalDateTime.now
var partitionDateHour = (0 until 2)
.map(h => currentTs.minusHours(h))
.map(ts => s"'${ts.toString.substring(0, 10)}${":"}${ts.toString.substring(11,13)}'")
.toList.toString().drop(4)

/** replacing ${partitionDateHour} value in query from current Thread value dynamically*/
  val sparksql=  spark_sql.replace("${partitionDateHour}",partitionDateHour)
  spark.sql(sparksql)
  Thread.sleep(300000)}}}).start()
  scala.io.StdIn.readLine()

在显示以下错误消息之前，它正常工作了 5 到 6 个小时。

Exception in thread "dispatcher-event-loop-5" in java.lang.OutOfMemoryError: GC overhead 
limit exceeded
22/12/13 19:07:42 ERROR FileFormatWriter: Aborting job null.
org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:
Exchange hashpartitioning
+- *HashAggregate
+- Exchange hashpartitioning
+- *HashAggregate
+- *Filter 

我的 Spark 提交配置：

--conf "spark.hadoop.hive.exec.dynamic.partition=true"
--conf "spark.hadoop.hive.exec.dynamic.partition.mode=nonstrict" 
--num-executors 1
--driver-cores 1 
--driver-memory 1G  
--executor-cores 1  
--executor-memory 1G  

我试图增加 —executor-memory，但问题仍然存在。 我想知道是否有一种方法可以在每个线程之后释放所有 GC 进程的资源，以便释放不需要的对象和资源。

有人可以告诉我如何处理这种情况吗？

Answer 1

java.lang.OutOfMemoryError: GC Overhead limit exceeded如果 Java 进程将超过其大约 98% 的时间用于垃圾收集，并且如果它正在恢复少于 2% 的堆，则会发生这种情况。 在docs.oracle.com上阅读更多内容。

可能有两个可能的原因：(1.) 您有内存泄漏 - 在大多数情况下，这是根本原因 (2.) 您没有使用足够的堆内存。

我建议做堆转储分析，看看你是否有内存泄漏。 另外，尝试增加内存，看看效果如何。