如何使用现有日志条目在 Cloud Monitoring 中创建自定义指标？

Question

我有一个基于 Python 的微服务，其中 Cloud Api Python SDK 用于创建和记录自定义指标，代码如下所示。

from google.api import label_pb2 as ga_label
from google.api import metric_pb2 as ga_metric
from google.cloud import monitoring_v3

client = monitoring_v3.MetricServiceClient()
project_name = f"projects/{project_id}"
descriptor = ga_metric.MetricDescriptor()
descriptor.type = "custom.googleapis.com/my_metric" + str(uuid.uuid4())
descriptor.metric_kind = ga_metric.MetricDescriptor.MetricKind.GAUGE
descriptor.value_type = ga_metric.MetricDescriptor.ValueType.DOUBLE
descriptor.description = "Custom Metric recording specific code level events."

示例日志如下所示。 敏感数据已被编辑。

我可以问一下如何创建一个基于日志的指标来计算与给定过滤器匹配的日志条目的数量吗？

目前的谷歌云文档很复杂，并没有明确回答我的应用需求。 我已经阅读了 Google发布的这篇文章，但无法创建正确的指标。

Answer 1

Google Cloud 提供两种指标类型。 想一想您要找的那个叫做 Counter。 计数器指标计算与给定过滤器匹配的日志条目数。 例如，您可以执行以下操作：

• 计算包含某个特定错误消息的日志条目。
• 项目清单

通过查找与此模式匹配的日志消息，计算每个用户调用操作的次数：

... 用户 USERNAME 调用了 OPERATION...

通过提取 USERNAME 和 OPERATION 并将它们用作两个标签的值，您稍后可以问“sally 调用了多少次更新操作？”、“有多少人调用了读取操作？”、“George 调用了多少次手术？”等等。

使用最后一列中所示的类似过滤器来提出自定义指标。 这应该可以帮助您计算与给定过滤器匹配的条目数。

Answer 2

不幸的是，只有在创建用户定义的指标后收到的数据才会被包括在内。

用户定义的基于日志的指标的数据仅来自创建指标后收到的日志条目。 指标不会使用 Logging 中已有的日志条目中的数据追溯填充。

https://cloud.google.com/logging/docs/logs-based-metrics

对于现有的日志条目，它们应该默认保留 30 天，这样您就可以将它们导入 BigQuery 并使用 SQL 进行分析。 您还可以为将来的日志条目设置一个日志接收器。