如何在 cloudwatch 中查找不同的计数或显示不同的日志消息

Question

1. 这是我的 cloudwatch 日志，用于计算所有事件类型。 我只想要不同的值：

fields @timestamp, @message
| sort @timestamp desc
| filter @message like 'RToDMismatchErrors::'
| parse @message "[*] *" as loggingType, loggingMessage
| filter loggingType != 'Error'
| parse @message 'RToDMismatchErrors::*::*::Type3::*:*' as eventType, client, methodName, mismatch
| stats count(*) as eventCount by eventType

现在我能够获得特定事件类型的所有计数值。 但是，我希望仅获得不同的计数，其中所有不匹配值都不相同。 例如：

lets say we have two instances of: eventType is eventA and mismatch value is B.
I get following result:

eventType eventCount
eventA     2

I just want 1 count for that. 

2. 另一方面，我也有类似的日志，但这次我只是想显示不工作的不同日志。 这是我的 cw 查询：

fields @timestamp, @message
| sort @timestamp desc
| filter @message like 'RToDMismatchErrors::Both R and D Different::'
| parse @message "[*] *" as loggingType, loggingMessage
| filter loggingType = 'Error'
| display loggingMessage
| limit 1000

有什么建议吗？

Answer 1

要获取日志消息中不匹配值的不同计数，您可以在查询中使用“不同的”function。 您可以按如下方式修改查询：

fields @timestamp, @message
| sort @timestamp desc
| filter @message like 'RToDMismatchErrors::'
| parse @message "[] " as loggingType, loggingMessage
| filter loggingType != 'Error'
| parse @message 'RToDMismatchErrors::::::Type3:::' as eventType, client, methodName, mismatch
| stats distinct_count(mismatch) as distinctMismatchCount by eventType

这将为您提供每种事件类型的不匹配值的不同计数。

要获取不同的日志消息，您可以在查询中使用“唯一的”function。 您可以按如下方式修改查询：

fields @timestamp, @message
| sort @timestamp desc
| filter @message like 'RToDMismatchErrors::Both R and D Different::'
| parse @message "[*] *" as loggingType, loggingMessage
| filter loggingType = 'Error'
| display loggingMessage
| unique loggingMessage
| limit 1000

这将为您提供给定时间范围内的唯一日志消息。

Answer 2

如果我正确理解您的问题，那么您正在寻找可以使用 cloudwatch Insights 查询语法中的count_distinct(fieldName: LogField)实现的唯一字段值，它返回该字段的唯一值的数量。 如果该字段具有非常高的基数（包含许多唯一值），则count_distinct返回的值只是一个近似值！

例子：

fields eventType, @timestamp
| stats count_distinct(eventType)

还最好查看CWL_QuerySyntax和AWS cloudwatch metric 中的 SO thread Count unique values 。