在 kube.netes pod 中发生 OOM 时保留堆转储？

Question

当 java 进程出现 OOM 并且 pod 重新启动时，我需要保留堆转储。

我在 jvm 参数中添加了以下内容

-XX:+ExitOnOutOfMemoryError -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/opt/dumps

...并且 emptydir 安装在同一路径上。

但问题是，如果 pod 重新启动并且它被安排在不同的节点上，那么我们将丢失堆转储。 即使 pod 被安排到不同的节点，我如何保留堆转储？

我们正在使用 AWS EKS，并且我们有超过 1 个 pod 副本。

有人可以帮忙吗？

Answer 1

您必须将堆转储持久保存在 Pod 之间的共享网络位置上。 为了实现这一点，您需要提供持久卷声明，在 EKS 中，这可以使用安装在不同可用性区域上的弹性文件系统来实现。 您可以通过阅读本关于基于 EFS 的 PVC 的指南来开始了解它。

Answer 2

由于在您的情况下写入 EFS 太慢，AWS EKS 有另一种选择 - awsElasticBlockStore 。

EBS 卷的内容会保留，并且在删除 pod 时会卸载该卷。 这意味着 EBS 卷可以预先填充数据，并且数据可以在 pod 之间共享。

注意：您必须先使用 aws ec2 create-volume 或 AWS API 创建一个 EBS 卷，然后才能使用它。

使用 awsElasticBlockStore 卷时有一些限制：

请查看有关此主题的官方 k8s 文档页面。 以及如何在 EKS 中使用持久存储。