[英]Spark store kafka offset checkpoint in non-streaming(batch read write) approach
[英]KSQL - Non-streaming query
有沒有辦法查詢 KTABLE 中的所有當前條目? 我正在嘗試使用有效負載執行對 REST api 的 http 請求
{
"ksql": "SELECT * FROM MY_KTABLE;",
"streamsProperties": {
"auto.offset.reset": "earliest"
}
}
小溪無限期地掛着。 文檔說
它相當於傳統的數據庫表,但通過流語義(例如窗口)進行了豐富。
那么當您只需要所有當前數據而不進行流式處理並將KTABLE視為常規緩存表時,是否可以進行常規查詢?
KSQL 表使用了 Kafka Streams 的 KTable,因此為了訪問 KTable 的當前值,您需要訪問流作業的所有實例中的狀態存儲。 在 Kafka Streams 中,您可以使用interactive queries
來執行此interactive queries
,但是,我們尚不支持 KSQL 中的交互式查詢。
在 KSQL 中查看表的當前狀態的一種解決方法是使用 Kafka Connect 將與表對應的 kafka 主題推送到外部表中,例如 Postgres 表或 Cassandra 表。 此外部表將具有 KSQL 表的最新值。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.