使用 Logstash 将 airflow 日志传递给 Elasticsearch

Question

当使用 logstash 从您有权访问的文件夹中检索 airflow 日志时，我还需要在 airflow.cfg 文件中进行任何更改吗？

例如，我将 airflow 和 ELK 部署在同一个 ec2 实例上。 logstash.conf 文件可以访问 airflow 日志路径，因为它们位于同一实例上。 我是否需要在 airflow 配置中打开remote logging ？

Answer 1

实际上，您有两个选项可以将 airflow 日志推送到 Elastic Search：

1. 使用日志收集器（logstash，fluentd，...）收集 Airflow 日志，然后将其发送到 Elastic Search 服务器，在这种情况下，您无需更改任何 Airflow 配置，只需从文件或标准输出中读取日志并将其发送给 ES。
2. 使用 Airflow 远程日志功能，在这种情况下 Airflow 将直接登录到您的远程日志服务器（在您的情况下为 ES），并将存储此日志的本地版本以在远程服务器不可用时显示它。

所以你的问题的答案是否定的，如果你有一个logstash，你不需要Airflow remote logging配置