如何在一个 s3 存储桶中存储 loki-chunks 文件夹

Question

我是 helm、prometheus-grafana 和 loki 服务的新手。 我已经通过 helm chart 在我的 eks 集群中安装了 loki-stack，以便使用以下命令对我的 eks pod 进行日志监控。

helm install loki-stack grafana/loki-stack -n monitoring

loki-chunks 文件夹被保存在其中一个 eks 节点中，最终导致 memory 的高消耗。 我做了一些工作来解决是否可以将 chunks 文件夹保存在 s3 存储桶中的问题。 我得到的答案很少，在 loki values.yaml 文件中我们可以提到 s3 实现的 s3 细节，这里提到了如何使用 S3 作为 Loki 日志的存储？ .

但是，如果我传递命令helm inspect values grafana/loki-stack >> values.yaml我会收到以下响应。

loki:
  enabled: true
  isDefault: true

promtail:
  enabled: true
  config:
    lokiAddress: http://{{ .Release.Name }}:3100/loki/api/v1/push

fluent-bit:
  enabled: false

grafana:
  enabled: false
  sidecar:
    datasources:
      enabled: true
      maxLines: 1000
  image:
    tag: 8.3.5

prometheus:
  enabled: false
  isDefault: false

filebeat:
  enabled: false
  filebeatConfig:
    filebeat.yml: |
      # logging.level: debug
      filebeat.inputs:
      - type: container
        paths:
          - /var/log/containers/*.log
        processors:
        - add_kubernetes_metadata:
            host: ${NODE_NAME}
            matchers:
            - logs_path:
                logs_path: "/var/log/containers/"
      output.logstash:
        hosts: ["logstash-loki:5044"]

logstash:
  enabled: false
  image: grafana/logstash-output-loki
  imageTag: 1.0.1
  filters:
    main: |-
      filter {
        if [kubernetes] {
          mutate {
            add_field => {
              "container_name" => "%{[kubernetes][container][name]}"
              "namespace" => "%{[kubernetes][namespace]}"
              "pod" => "%{[kubernetes][pod][name]}"
            }
            replace => { "host" => "%{[kubernetes][node][name]}"}
          }
        }
        mutate {
          remove_field => ["tags"]
        }
      }
  outputs:
    main: |-
      output {
        loki {
          url => "http://loki:3100/loki/api/v1/push"
          #username => "test"
          #password => "test"
        }
        # stdout { codec => rubydebug }
      }

我没有在上面的 values.yaml 文件中提及 s3 配置。 有人可以帮忙吗？ 这将是非常可观的。 谢谢。

Answer 1

还不确定，但这是我使用的文件

文件 aws-basic-config-no-creds2.yaml

loki:
    schema_config:
      configs:
      - from: 2020-05-15
        store: aws
        object_store: s3
        schema: v11
        index:
          prefix: loki_
    storage_config:
      aws:
        s3: s3://eu-central-1/alex-loki-test
    serviceAccount:
        name: loki-sa
        create: true
        annotations: 
            eks.amazonaws.com/role-arn: "arn:aws:iam::1xxx11:instance-profile/loki_s3_role"
grafana:
    enabled: true
    sidecar:
      datasources:
        enabled: true
    image:
      tag:  7.5.17
    grafana.ini:
      users:
        default_theme: dark

安装方式

 helm install loki grafana/loki-stack \
  --values aws-basic-config-no-creds2.yaml \
  --namespace loki \
  --create-namespace