如何配置用於在Google Compute Engine上備份Elasticsearch數據的結構？

Question

我在GCE（Google Compute Engine）上配置了帶有兩個節點的elasticsearch環境，因此有兩個VM，為此我需要創建一個備份策略。 我最初以為我可以使用elasticsearch快照API將所有數據備份到給定的存儲中，因為該API支持幾種存儲快照的方式。

• 共享文件系統，例如NAS
• 亞馬遜S3
• HDFS（Hadoop分布式文件系統）
• Azure雲

我嘗試使用共享文件系統選項，但是它要求在節點之間共享存儲位置。 我可以在GCE上做到這一點嗎？

curl -XPUT http://x.x.x.x:9200/_snapshot/backup -d '{
    "type": "fs",
    "settings": {
        "compress" : true,
        "location": "/elasticsearch/backup"
    }

}'

nested: RepositoryVerificationException[[backup] store location [/elasticsearch/backup] is not shared between node

我知道有一個用於Elasticsearch的AWS插件來存儲備份。 是否有Google Cloud Storage插件？ 有可能這樣做嗎？

如果以上任何一種選擇都不可行，是否有其他建議的策略來備份我的數據？

Answer 1

Elasticsearch現在具有適用於Google Cloud Storage的插件 ，因此本機支持。

Answer 2

您可以通過互操作性將S3插件與Google Cloud Storage結合使用。 有關更多詳細信息，請參見此頁面 。

另外，您可以只在文件系統中創建普通備份，然后使用gsutil將其上傳到雲存儲。

Answer 3

我在Google Cloud上的ES群集（5個節點）遇到相同的問題。 正如上面提到的Jon一樣，我們不能在實際磁盤上使用本地備份，因為在我的情況下，並非每個節點都擁有所有數據。

在我看來，唯一的方法是創建一個帶有大磁盤的小型計算機，並將該磁盤作為共享驅動器安裝在我在同一路徑中的所有5個ES節點上，以便我們可以使用“共享文件系統”選項。