Logstash 的不一致流式传输行为 - ELK

Question

我有一个包含几个平面字段和几个嵌套字段的索引。 我正在尝试通过 Logstash 将 SQL 服务器中的 stream 信息通过特定 ID 放入嵌套字段中。 当我 stream只有一个Id 的数据时，它完全成功地通过，没有任何问题。 另一方面，当我尝试使用 stream 时，多个 id 的数据 - 由于某种原因，插入索引的信息是部分的。 注意：查询按 id 排序。 此外，在流式传输数据的不同尝试中，获得了不同数量的信息。 例如，假设完整信息包含 15 行。 在一次尝试中仅获得 2 行，但在另一次尝试中获得 14 行，看似完全任意。 有谁知道什么会导致这种奇怪的行为？ 我很乐意提供任何帮助。 谢谢！

Answer 1

这是因为Logstash 执行 model可以并行工作，并且您的事件可能由不同的工作线程处理。

如果您想获得一致的加载行为，您需要使用单个工作人员（ -w 1在命令行上）执行您的管道