关于管理完美工作流的日志

Question

我正在为业务应用程序使用完美的工作流程。

我有一个关于存储在 postgresql 中的日志的问题。

如果每天的日志都保存在postgresql服务器上，数据量会非常庞大​​。

是否有一种机制可以轮换此日志并将其写入文本文件？

还有，把postgresql表中的数据写入文本文件等后，删除对应的记录可以吗？

Answer 1

由于您正在运行 Prefect Server 的实例，因此编写一个连接到 postgres 容器并将日志归档到某种云存储（GCS、S3 等）的 Flow 是有意义的。 我大概会这么想：

1. 使用 Prefect Client收集早于特定日期的 Flow Runs 的所有 ID。
2. 连接到 postgres 并从日志表中选择具有这些 Flow Run ID 的日志的日志
3. 将这些日志作为首选写入 CSV/SQL/Text
4. 从 postgres 中删除这些日志