將日志從ECS Fargate發送到Elasticsearch的最佳方法

Question

我們的安裝程序包含多個容器，這些容器運行在AWS ECS Fargate中部署的NodeJS服務（node：11-alpine docker image）。

我們已經有一個正在運行的ElasticSearch實例，該實例從非Fargate應用程序收集日志。 我想將日志從Fargate容器傳遞到此ElasticSearch實例中，但是我很難找出最好的方法。

1）似乎一種方法是從Cloudwatch-> Lambda-> ElasticSearch流日志。 似乎有點矯kill過正-沒有其他方法可以做到這一點嗎？

2）我希望我可以運行一個Logstash docker實例，該實例可以從容器中收集日志，但是我不確定在運行Fargate時是否可行？

3）我是否應該在每個容器上安裝FileBeat之類的東西，然后讓其發送日志？

任何幫助表示贊賞。

Answer 1

1）似乎一種方法是從Cloudwatch-> Lambda-> ElasticSearch流日志。 似乎有點矯kill過正-沒有其他方法可以做到這一點嗎？

如果您正在尋找基於AWS的托管解決方案，那是正確的方法。 您實際上並不需要編寫Lambda函數，AWS可以為您完成此功能，而且看起來不算過分，因為這是更易於管理和面向AWS的方法。 另外，此解決方案將要完成的工作與Logstash相同。

2）我希望我可以運行一個Logstash docker實例，該實例可以從容器中收集日志，但是我不確定在運行Fargate時是否可行？

是的，那是可能的。

3）我是否應該在每個容器上安裝FileBeat之類的東西，然后讓其發送日志？

您可以根據需要使用FileBeat，Fluentd，FunctionBeat或Logstash。

注意：如果您正在考慮運行自己的Logstash容器，請不要啟用CloudWatch日志記錄，也不要使用它。 但是我建議為此選擇基於AWS的解決方案。