我正在使用 Elastic 的 ILM(索引生命周期管理)来索引我的实时数据(已收到电子邮件)。 该策略创建为每 30 天滚动到新索引。 索引模板是:WikiEmail-*。 因此,索引每 30 天创建一次,名称为:WikiEmail-000001 等等。 现在我有一个要求,我需要索引历史数据(过 ...
我正在使用 Elastic 的 ILM(索引生命周期管理)来索引我的实时数据(已收到电子邮件)。 该策略创建为每 30 天滚动到新索引。 索引模板是:WikiEmail-*。 因此,索引每 30 天创建一次,名称为:WikiEmail-000001 等等。 现在我有一个要求,我需要索引历史数据(过 ...
我正在寻找一种方法来定期清理早于 X 天且不属于别名的弹性搜索索引。 我知道 ILM 可用于“早于”部分,但是否也可以以某种方式对其进行配置,以便它可以检查并仅删除那些不属于别名的部分? 谢谢。 ...
我的数据源写索引MyIndex-%{+YYYY.MM.dd.HH.mm},但是每天索引中的数据都很大。 如果数据超过 10GB,我需要滚动创建新索引 例如 MyIndex-2022.12.23-1 大小 10GB MyIndex-2022.12.23-2 大小 10GB MyIndex-2022. ...
我想知道按以下方式配置 FileBeat 是否可行: 我有几个 MQTT 主题的单个 rabbitmq。 我想将来自主题 foo/# 的消息保存在索引 index-foo 中,并将来自主题 bar/# 的消息保存在索引 index-bar 中,以便设置单独的滚动策略。 我设法通过在filebeat. ...
我有用于存储日志的 elasticsearch 集群,并且我有这样的索引 所以索引每天都会创建,我有这个索引的索引模板 但我想确保早于 1 天的索引有 0 个副本以节省磁盘空间,而早于 1 天的索引保留有 1 个副本(以便在服务器丢失的情况下,我有今天的数据) 我如何使用 elasticsearch ...
我想创建一个热温策略,当索引大小为 20Gb 或 max_age 等于 30days 时,索引应该翻转但是,如果大小条件发生在年龄条件之前,索引应该翻转但数据必须保留在热节点中直到 max_age 条件发生。 然后数据应该在暖数据5个月后删除。 示例:如果 15 天后索引为 20gb,则索引翻转但直 ...
这可能不是正确的问题,但我已经在我的领导集群上创建了 ILM,但是我没有看到它被复制到跟随集群。 我是否认为它根本不应该被复制,因为它与索引实体无关,但是我没有在某处看到记录。 假设我想取消关注并使用追随者集群作为我的新“领导者”,以防以前的领导者发生灾难。 这是否意味着我必须从一开始或之前的“切 ...
在我的 elasticsearch 中,我将收到格式为 dstack-prod_dcbs- 的每日索引。 我想在它们恢复后立即向它们添加 ILM。 我不知道为什么 ILM 没有添加到索引中。 下面你可以找到我的命令。(我已经定义了“dstack-prod_dcbs-policy”ILM) 但是当我 ...
我是建立适当生命周期政策的新手,所以我希望有人可以帮我解决这个问题。 因此,我每周都会创建一个现有索引。 这是第三方集成(他们为我提供了传入日志的管道和索引模板)。 每周以“name-YYYY-MM-DD”的模式创建日志。 我正在尝试为这些索引设置生命周期策略,以便它们从 hot->warm- ...
我从所有 docker 容器中收集带有 filebeat 的日志,将它们发送到 logstash,然后从 logstash 转发到 elasticsearch。 如果索引太大或太旧,我想滚动自动创建的索引。 我测试的变体很少。 使用 Elasticsearch ILM 。 我创建了当超过 5M 时应 ...
我已经开始阅读 elasticsearch 生命周期管理并试图了解 ILM 的工作原理。 我理解了一些术语,如下所示索引 - 实际数据作为“索引”存储在其中索引模式 - 到 select 多个索引索引模板 - 它是应用一些“设置”和“映射”的模板。 也用于 select 索引策略索引别名 - 从这里 ...
使用 ISM 策略时,需要在索引创建期间应用索引策略设置,但一旦根据策略中某个阶段/阶段应用的滚动操作创建新索引,这些设置就会丢失。 例如,具有以下形式的索引: 拥有模板索引模式 msp- msp-* (其中 * 是一个数字)会阻碍为 * 可以自动应用的每个值设置翻转别名 msp-*-alias。 ...