Memory 泄漏/发布 object io.netty.buffer.PooledByteBufAllocator 来自 JAR netty-configuration-buffer 过渡使用

Question

关于申请。

我们在 Azure Kubernetes 服务 (AKS) 中运行 Kafka 流应用程序。 它使用来自 Azure 事件中心的消息，执行业务逻辑并将 output 消息写入另一个事件中心。 我们将配置存储在Azure 应用程序配置服务中，并一次读取所有配置并将其缓存在 object 中，并在需要时重复使用。

Jar azure-data-appconfiguration:jar:1.2.4 is used to connect to App Configuration, which transitively download the jar io.netty:netty-buffer:jar:4.1.68.Final:compile. 下面是依赖树

+- com.azure:azure-data-appconfiguration:jar:1.2.4:compile
|  +- com.azure:azure-core:jar:1.22.0:compile
|  \- com.azure:azure-core-http-netty:jar:1.11.2:compile
|     +- io.netty:netty-buffer:jar:4.1.68.Final:compile

请注意：作为业务逻辑的一部分，我们将更改的文件应用于基本文件以生成新文件。 我们使用 class “https://github.com/google/diff-match-patch/blob/master/java/src/name/fraser/neil/plaintext/diff_match_patch.java”

问题

我们面临的问题是memory 的利用率正在逐渐增加这个流应用程序。 当我们对堆转储进行分析时，我们发现 object io.netty.buffer.PooledByteBufAllocator 占用了我们怀疑这里泄漏的更多空间。 我们不能排除 netty-buffer，因为它是用来连接 Azure App Configuration 的。

我们尝试过我们将 jar azure-data-appconfiguration 升级到最新版本 1.3.6 的想法可能是旧版本中可能存在 memory 泄漏，但同样的问题仍然存在。 下面是依赖树。

+- com.azure:azure-data-appconfiguration:jar:1.3.6:compile
|  +- com.azure:azure-core:jar:1.31.0:compile
|  \- com.azure:azure-core-http-netty:jar:1.12.4:compile
|     +- io.netty:netty-buffer:jar:4.1.79.Final:compile

需要支持

1. netty-buffer jar 中是否有任何已知的 memory 泄漏？
2. 有没有办法知道这些对象是在哪里创建的堆栈跟踪。
3. 请建议调试此泄漏和修复的最佳方法。

Answer 1

这似乎是 SDK 可能存在的问题。 在 GitHub 存储库上创建了一个问题，以跟踪请参阅： https://github.com/Azure/azure-sdk-for-java/issues/30666

Answer 2

我创建了一个简单的基于 AppConfiguration 的应用程序，它创建了 500 个密钥，列出它们，然后在定期进行堆转储时删除它们，我没有发现任何泄漏。 提到的 GitHub 问题 ( https://github.com/Azure/azure-sdk-for-java/issues/30666 ) 是针对 AppConfiguration 客户端不会使用的代码路径。

根据发布的堆转储图像，这看起来是正常的 memory 行为。 PooledByteBufAllocator 将为每个线程分配 2 个“arenas”，每个 arena 将分配一个 4MB 的块，如果正在使用的机器是 2 个线程，那么这就是突出显示的 16MB。 有关更多信息，请参阅此 PR： https://github.com/netty/netty/pull/12108