我们是否可以选择从特定时间段/时间戳获取 KSQL 流中的数据

Question

我知道，在 KSQL 中，我们可以将偏移量设置为最早或最晚但是我们可以从特定时间段获取数据，即我需要从 2020 年 5 月 6 日开始将数据插入到主题中吗？

Answer 1

在 ksqlDB 中，您可以从主题的开头（ SET 'auto.offset.reset' = 'earliest'; ）或主题的结尾（ SET 'auto.offset.reset' = 'latest'; ）查询。

您目前 (0.8.1 / CP 5.5) 无法寻找任意偏移量。

您可以做的是从最早的偏移量开始，然后在谓词中使用ROWTIME来识别符合您要求的消息。

SELECT * 
  FROM MY_SOURCE_STREAM 
WHERE  ROWTIME>=1588772149620

请注意，这是按顺序扫描的，因此取决于您在主题中拥有的数据量可能不是特别快。