在 EC2 上運行的 Elasticsearch 集群上自動生成快照

Question

我有一個在 EC2 實例上運行的 Elasticsearch 集群，我想自動化快照以每天備份。

我已經閱讀了快照和恢復指南，並且我有 PUT 命令來制作快照。 從我的研究中，我看到了一些自動化備份的方法。 我發現的一個建議是使用 AWS 管理的 Elasticsearch。 不幸的是，由於我們有其他限制，切換到托管 Elasticsearch 將無法正常工作。

我嘗試的第一種方法是在其中一個節點上設置一個 cron 作業，以進行適當的 REST 調用。 但是我意識到，如果運行命令的節點是 go，那么備份將不會運行。

我想使用的下一個方法是 AWS Datapipeline。 問題是似乎沒有辦法從 Datapipeline 發送 REST 調用 - 我可以運行 EC2 shell 命令，但是我會遇到和以前一樣的問題。

我想到的另一種方法是使用 CloudWatch 事件來安排 lambda function 調用 REST。 看起來這可能效果最好，但自動化備份似乎也過於復雜。

有沒有辦法從 Elasticsearch 中自動備份？ 如果沒有，是否有更簡單的方法來使用 AWS 服務？

Answer 1

For an Elasticsearch cluster running on versions before 7.3, using a CloudWatch event to schedule a lambda function that'll make the REST call to do a snapshot is a resilient way to schedule backups as it avoids dependency on a single node running a cron job while還執行可靠的 Elasticsearch 備份（有關詳細信息，請參閱問題評論）。

Elasticsearch 7.4 中的一項新功能是快照生命周期管理，它允許您每天在特定時間使用快照自動備份 Elasticsearch 索引。

https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started-snapshot-lifecycle-management.html