Stackdriver GCP 中的日志保留

Question

如何在 GCP Stack-driver 中启用日志保留。 我还没有找到任何配置日志保留的文档。 我可以在日志记录部分和日志摄取中看到导出选项。

Answer 1

现在，有可能， 请参阅下面的这篇文章（已编辑）

---

上一个答案：

日志保留期为 30 天，不可配置，您只需为存储付费

Stackdriver Logging 允许您将日志保留 30 天，并为您提供一键式配置工具以将数据在 Google Cloud Storage 中存档更长时间。

https://cloud.google.com/logging/

但是您可以为您的日志创建一个接收器并将它们存储在 Big Query 或 Google Cloud Storage（或两者）中

Answer 2

日志保留现在是可能的。

将此 文档用于自定义保留期。 这可以介于1 day 3650 days 。

gcloud beta logging buckets update _Default --location=global --retention-days=[RETENTION_DAYS]

---

说明：

对于每一个谷歌云计算项目，日志记录会自动创建两个日志水桶： _Required和_Default 。 在项目生成的所有日志存储在_Required和_Default日志水桶，其中生活在日志中产生的项目：

_Required ：此存储桶包含管理员活动审核日志、系统事件审核日志和访问透明度日志，并将它们保留 400 天。 _Required 中存储的日志不收费，且此处存储的日志的保留期限不可修改。 您无法删除此存储桶。

_Default ：此存储分区包含 Google Cloud 项目中所有其他提取的日志，_Required 存储分区中保留的日志除外。 标准 Cloud Logging 价格适用于这些日志。 _Default 存储桶中保存的日志条目会保留 30 天，除非您应用自定义保留规则。

使用自定义存储桶和_Default存储桶，您可以为不同的日志配置自定义保留期。

Answer 3

除了 30 天之外，审核日志还会保留 400 天。

日志导出的设计模式涵盖了导出到 GCS、BigQuery 和 PubSub（用于流日志）的细节。

Answer 4

Stackdriver 保留：

1. 管理员活动（400 天）
2. 数据访问（30 天）
3. 系统事件（400 天）
4. 其他日志（30 天）

Bullet 1 到 3 是审核日志，您可以在iam > audit logs页面上启用。 请记住，这可能是大量日志。 对于数据访问日志尤其如此，因为记录每个访问对象，例如 GCS（Google 云存储）或云数据存储。 一些最佳实践是您关闭开发的审计日志记录，或者只为您经常使用的服务（KMS、IAM、存储等）打开审计日志记录，并关闭 Cloud Build、Cloud Functions 等的审计日志记录。

Bullet 4，其他日志，可能是来自 Cloud Functions、App Engine 等的应用程序日志记录。这是来自您在 GCP 上运行的应用程序的日志记录。 对于所有 Stackdriver 日志记录，保留现在是可配置的（2020 年 4 月）。 您可以 在此处阅读更多相关信息。

想要将日志存储更长的时间？

在许多用例中，您希望将日志记录维护更长的时间。 这可能是出于分析目的、监控或合规性原因。 您可以使用项目、目录甚至组织级别的日志接收器导出日志。 Logsinks 本身是免费的，您只需支付目的地的存储费用，这可能是以下之一：

• 谷歌云存储
• 酒吧/订阅
• 大查询

如果您想将日志导出移动到其他地方，可能是 GCP 外部，发布/订阅可能是一个很好的解决方案。 我最近了解到 Google Cloud Storage 和 Big Query 在存储成本方面没有太大区别。 它们都提供较低级别的存储撕裂，用于长期存储。

Logsink 最佳实践

• 对于许多用例，Big Query 可能是最好和最简单的解决方案。 存储成本与 Big Query 标准和近线存储类相当。 您可以轻松查询数据。
• 使用 Big Query，不要过于频繁地运行涵盖大量数据的查询。 这可能会变得昂贵。
• 使用 Big Query 对数据进行分区，以便每天或每周将数据插入新的分区或表中。 这反过来会自动将未更新的表的存储成本降低 50%。
• 由于合规性原因，您必须将数据存储数年（3、5 甚至 7 年）。 我建议将数据导出到谷歌云存储。 通过对象生命周期管理，您可以将这些数据放入存档存储中，其成本仅为标准存储的一小部分 (15%)。

Answer 5

现在，您可以通过以下命令配置自定义保留：

gcloud alpha logging buckets update _Default --location=global --retention-days=[RETENTION_DAYS]

请参阅https://cloud.google.com/logging/docs/storage#logs-retention