Fluentbit - 新的遺留日志集成

Question

我目前正在使用 fluentbit 作為 sidecar 容器，將日志推送到 New Relic 中，用於在 ECS Fargate 中部署為 docker 的服務。

當前日志消息如下所示： [37m[Info] 2022-12-9T09:08:15.346, isRequestSuccess: False, totalTime: 2603, category: <Category>, callerIpAddress: <IP address>, timeGenerated: 12/09/2022 09:08:15, region: QA, correlationId: fecdafdb-c6af-41ac-a653-ecabbc682392, method: GET, url: <Request URL>, backendResponseCode: 503, responseCode: 503, responseSize: 370, cache: none, backendTime: 1600, apiId: <API Id>, operationId: HealthCheck, productId: <Product Id>, clientProtocol: HTTP/1.1, backendProtocol: HTTP/1.1, apiRevision: 1, clientTlsVersion: 1.2, backendMethod: GET, backendUrl: <Bakend URL>, correlationId: fecdafdb-c6af-41ac-a653-ecabbc682392[0m

它被記錄為非結構化數據，我不能在日志中的特定字段上使用新的遺物查詢作為非結構化數據。

FluentBit 具有以下配置：

[OUTPUT]
    name            nrlogs
    match           *
    license_key     <license-key>
    base_uri        <host>

有誰知道如何以結構化方式將日志推送到新遺跡？ 我嘗試了一些新的遺物解析器，但這對我沒有幫助。

任何幫助表示贊賞。

Answer 1

我推薦以下方法之一：

1. 重新配置服務的日志記錄框架，以 JSON 格式輸出日志。 New Relic 可以原生攝取 JSON 日志，所有字段都將轉換為 New Relic 中的屬性，您可以將其用於查詢/過濾/警報。
2. 在 New Relic 中設置一個解析規則（使用 Grok 表達式或普通的 ol' regex）來解析日志，因為它們被攝取到 New Relic 中，這將導致在攝取時創建屬性。 （參見： https ://docs.newrelic.com/docs/logs/ui-data/parsing/）
3. 使用強大的 NRQL 功能aparse(..)或capture(..)在查詢時提取相關字段。 （參見： https ://newrelic.com/blog/how-to-relic/nrql-improvements 和https://newrelic.com/blog/how-to-relic/using-regex-capture ）

我希望這有幫助！