将 Elasticsearch 中的旧数据归档到 Google Cloud Storage

Question

我在Google Compute Instance中安装了elasticsearch服务器。 每分钟都会摄取大量数据，并且下划线磁盘很快就会填满。

我知道我们可以增加磁盘的大小，但这对于存储长期数据会花费很多。

我们需要 Elasticsearch 服务器（计算引擎磁盘）中 90 天的数据和超过 90 天（直到 7 年）的数据存储在 Google Cloud Storage Buckets 中。 较早的数据应该可以检索，以备日后分析时使用。

我知道的一种方法是经常拍摄快照并使用Curator从 Elasticsearch 服务器中删除超过 90 天的索引。 这样我可以保持磁盘空闲并最大限度地降低存储成本。

有没有其他方法可以在不手动自动化上述想法的情况下做到这一点？

例如，由 Elasticsearch 提供的开箱即用的东西，它会将超过 90 天的数据本身存档并将数据文件保存在磁盘中，然后我们可以手动将此文件从磁盘移动到Google Cloud Storage 。

Answer 1

没有其他办法，要备份您的数据，您需要使用快照/恢复API，这是唯一安全可靠的选项。

有一个插件可以使用谷歌云存储作为存储库。

如果您使用的是 7.5+ 版和带有基本许可证的 Kibana，您可以直接从Kibana 界面配置快照，如果您使用的是旧版本或没有 Kibana，您将需要依赖 Curator 或运行的自定义脚本一个 crontab 调度程序。

虽然您可以复制数据目录，但每次要复制数据时都需要停止整个集群，并且要恢复它，您还需要每次都从头开始创建一个新集群，这是很多工作，而不是当你有类似快照/恢复 API 之类的东西时很实用。

Answer 2

查看快照生命周期管理和索引生命周期管理。 它们可通过基本许可证获得。