使用 nodejs 查詢 Kafka 主題

Question

我有點不解。 真的沒有 NodeJS API 來查詢 Kafka 主題（例如 Kafka Streams 和 Java API）嗎？ 我錯過了什么嗎？

只是為了弄清楚這一點。 僅通知主題的最新事件/記錄對我來說是不夠的。 我想查詢和處理主題的記錄 - 然后可能將聚合存儲到另一個主題。

如果只有 nodejs 和一個庫可以做到這一點，感謝您的想法。

Answer 1

這是對我和大多數人有用的東西。

有限的解決方案

如果你很固執，想堅持使用 node.js 庫來為你整理一下： https://nodefluent.github.io/kafka-streams/docs/

截至今天，他們提供：

• 輕松訪問流
• 合並流
• 分流

完整的解決方案

最簡單的方法（從今天開始——有傳言說 Confluent 正在創建更多的庫，還有一個用於 nodejs），可以通過REST API查詢 kafka。 它是 ksqlDB 的一部分，ksqlDB 是融合平台的一部分，該平台還附帶了 Zookeeper 和 Kafka 實例，您可能已經擁有了。 如果您想知道如何安裝：

1. 它使用docker yml 文件在 1 分鍾內啟動。

2. docker-compose up -d

3. 查看運行的端口和服務docker ps

4. 只需向http://0.0.0.0:8088/發送 GET 請求，即可開始從 REST API 請求狀態。 它將返回服務信息。

    { "KsqlServerInfo": { "version": "6.2.0", "kafkaClusterId": "uOXfee3zQ76vCKBbREw1yg", "ksqlServiceId": "default_", "serverStatus": "RUNNING" } }

希望你們中的一些人從最初的研究中脫身。 而且....如果我們幸運的話，很快就會有一個包裝器庫。

然后根據您的主題創建一個 stream，瞧。 您已准備好使用REST API查詢您的主題（通過流）。 由於 REST API 提供 HTTP2，因此還可以預期 stream 中新到達的記錄會持續更新。為此應用推送查詢。 拉取查詢將在結果交付后切斷線路。