在 Google Kubernetes Engine 上使用 Apache Spark 进行结构化日志记录

Question

我在 Google Kubernetes Engine 集群上运行 Apache Spark 应用程序，它将任何输出从 STDOUT 和 STDERR 传播到Cloud Logging 。 但是，不会传播粒度日志严重性级别。 所有消息在 Cloud Logging 中都只有 INFO 或 ERROR 严重性（取决于它是写入 stdout 还是 stderr），并且实际严重性级别隐藏在文本属性中。

我的目标是以结构化日志记录 JSON 格式格式化消息，以便将严重性级别传播到 Cloud Logging。 不幸的是，Apache Spark 仍然使用已弃用的log4j 1.x库进行日志记录，我想知道如何以 Cloud Logging 可以正确获取日志消息的方式格式化日志消息。

到目前为止，我正在使用以下默认的 log4j.properties 文件：

log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

Answer 1

在 GKE 集群中启用 Cloud Logging 时，日志记录由 GKE 管理，因此无法像在 GCE 实例中那样轻松更改日志格式。

要在 GKE 中推送 JSON 格式的日志，您可以尝试以下选项：

1. 使您的软件以 JSON 格式推送日志，以便 Cloud Logging 检测 JSON 格式的日志条目并以这种格式推送它们。

2. 按照此处的建议管理您自己的 fluentd 版本并设置您自己的解析器，但解决方案由您管理，不再由 GKE 管理。

3. 添加一个 sidecar 容器，用于读取您的日志并将它们转换为 JSON，然后将 JSON 转储到 stdout。 GKE 中的日志代理会将 sidecar 的日志作为JSON摄取。

请记住，在使用第三个选项，有一些注意事项，可导致显著的资源消耗，你将无法使用kubectl日志，说明这里。