ksqldb 不會故障轉移到備用模式注冊表
[英]ksqldb not failing over to standby schema registry
我正在嘗試測試 kafka 模式注冊表的故障轉移場景。 我跨越了兩個架構注冊表 docker 容器（主容器和備用容器），並且我有一個 KSQLDB 服務器在指向主架構注冊表的 docker 容器中運行。 源 kafka 連接器將數據從數據庫流式傳輸到 kafka 主題。 ksqlDB 服務器能夠使 ...
使用 ksql 刪除和重新創建 kafka 流時消息丟失
[英]Messages are lost on dropping and recreating kafka streams using ksql
我有一個與重新創建流和表相關的問題。 如果我們刪除流/表並使用相同的查詢重新創建它，即使我們在 ksql 服務器配置中將 ksql.streams.auto.offset.reset 設置為最早，也只會在相應的主題中出現新消息。 在將配置 ksql.streams.processing.guaran ...
如何使用 Kafka Schema Registry 在 KSQL 中創建用戶表？
[英]How to use Kafka Schema Registry for create a users table in KSQL?
我有 JSON 數據的 kafka 主題。 有一個名為 users 的主題，它從 mysql 表中捕獲數據更改。 如何使用 confluent schema registry 在 ksql 中創建一個帶有主鍵 user_id 的用戶表，該表將與其他具有連接的表一起使用？ 當前 Kafka 用戶主題 ...
KSQLDB：使用結構類型編寫自定義 UDAF（annotationparser 異常）
[英]KSQLDB: write custom UDAF with struct type (annotationparser exception)
我正在嘗試為 KSQLDB 編寫自定義 UDAF。 首先我想試試這個例子： https://docs.ksqldb.io/en/latest/how-to-guides/create-a-user-defined-function/#implement-the-class 結構的模式將通過 Sch ...
ksqldb 表沒有返回預期的數據
[英]ksqldb table does not return expected data
我從 Kafka 主題創建了一個表，然后我想將 stream 與一個表連接起來，但是該表是空的，連接的結果是空的。 我的 Kafka 主題有一些數據，主題上的 stream 有效，但我在表中看不到任何數據。 我有一個 stream 現在我想加入這個 stream 和表： 我在故事 stream 中看 ...
Ksql 僅在 stream 中沒有相同事件時才產生事件
[英]Ksql Only produce an event if there isn't the same event in the stream already
假設我有一個帶有鍵 A 和屬性 B、C 和 D 的事件。在我傳入的 stream 中，事件如下所示：A:{B="BVal", C="CVal", D="DVal"} 現在我只需要 A、B 和 C 的信息，這就是為什么我使用 ksql 選擇 B 和 C。 現在我的 stream 看起來像這樣： A:{ ...
Ksql 找不到任何名為“COUNT_DISTINCT”的函數
[英]Ksql Can't find any functions with the name 'COUNT_DISTINCT'
我正在使用 ksql cli 運行 我創建了一個 stream 當我運行 count_distinct 查詢時 它說 文檔指定了這個 function https://docs.ksqldb.io/en/latest/developer-guide/ksqldb-reference/aggrega ...
你如何獲得從遠程查詢到 ksqlDB 中物化視圖的最新偏移量？
[英]How do you get the latest offset from a remote query to a Materialized view in ksqlDB?
我有一個架構，我想從 Kafka stream A（由 ksqlDB 創建）查詢物化視圖。 在啟動時，服務 A 會將此物化視圖中的所有數據加載到 hashmap 中，然后它將開始從 Kafka Stream A 中消費並執行任何事件以更新此 hashmap。我想避免任何競爭條件，我會錯過在我查詢物 ...
ksqlDB 在 AVRO 模式中生成“connect.name”元素，並立即在新版本中再次將其踢出
[英]ksqlDB generates "connect.name" element in AVRO schema and immediately kicks it out again in new version
我正在通過 Confluent Cloud ksqlDB GUI 定義一個帶有新主題的新流，自動注冊一個沒有以前版本的新模式。 架構的 v1 看起來符合預期，但以元素"connect.name": "my.namespace" ，我已經不太明白了。 但是，還會立即生成一個新版本的架構，它是 v2 並 ...
Debezium 連接器在“搜索 WAL 恢復位置”后失敗
[英]Debezium connector fails after "Searching for WAL resume position"
我正在使用 debezium postgres 連接器來捕獲 kafka 中的幾個表記錄。 debezium 連接器在“搜索 WAL 恢復位置”后關閉。 我在下面給出了錯誤。 任何幫助將不勝感激。 ...
KSQL 可以使用模式中提供的默認值填充流嗎？
[英]Can KSQL populate streams with default values provided in the schema?
我有一個 KSQL 流，我想用模式中指定的默認值填充它。 除了用 coalesce 語句再次手動指定它們之外，有沒有辦法做到這一點？ 先前回答的問題與我面臨的問題類似，但它沒有解決使用模式中已指定的默認值的要點： 使用列的默認值創建 KSQL 流？ 我做了以下操作（基於 Confluent 提供 ...
KSQLDB：使用 CREATE STREAM AS SELECT 和不同的 KEY SCHEMAS
[英]KSQLDB: Using CREATE STREAM AS SELECT with Differing KEY SCHEMAS
以下是問題陳述的描述： STREAM_SUMMARY：一個 stream，其中一個值列作為結構數組。 STREAM_DETAIL：這是從 STREAM1 創建的 stream，方法是將結構數組“分解”為單獨的行。 請注意，KEY 模式也不同。 下面是我想要實現的鍵和值模式（最終狀態）..... ...
將數據推送到主題時將時間戳字段轉換為 ISO 8601
[英]Convert timestamp fields to ISO 8601 when push data to topic
我有一個流，它使用以下定義從 postgres 中的表中提取數據：CREATE TABLE "user" ( "_uid" UUID NOT NULL DEFAULT gen_random_uuid() PRIMARY KEY, "_created" TIMESTAMP(3) NOT NU ...
使用 KSQL 處理 Kafka 消息，該消息的字段可以是 ARRAY 或 STRUCT
[英]Processing a Kafka message using KSQL that has a field that can be either an ARRAY or a STRUCT
我正在使用另一個團隊發布的 Kafka 主題（因此我對消息格式的影響非常有限）。 該消息有一個包含 STRUCTS 數組（對象數組）的字段，但如果該數組只有一個值，那么它只包含該 STRUCT（沒有數組，只有一個對象）。 我正在嘗試使用 Confluent KSQL 轉換消息。 不幸的是，我不知道 ...
使用 ksqldb 連接來自多種類型的源連接器的數據
[英]Using ksqldb to join data from multiple types of source connectors
我們正在評估 ksqldb 作為我們組織的 ETL 工具。 我們的整個應用程序托管在 Microsoft Azure 上，並且大多數 PaaS 產品在我們的組織中更受歡迎。 然而，一個用例是我們有多個微服務和它們自己的數據庫，我們希望將數據庫中的表連接在一起，以生成一些非規范化格式的數據，用於其他一 ...
ksqlDB 從 KTable 中刪除記錄
[英]ksqlDB deleting records from KTable
• 我們在Kafka 中有一個主題“customer_events”。 價值的例子。 • 我們在Confluent 中的ksqlDB 集群中針對該主題創建了持久性stream。 • 我們在Confluent 的ksqlDB 集群中的stream 上創建了派生表。 該表根據 SessionId ...
KSQLDB 拉性能
[英]KSQLDB Pull Performance
我知道 KSQLDB 中的每個分區都會生成一個 RocksDbTable。 KSQLDB 還會重新分區，以便將相同的鍵存儲在同一分區中。 但我找不到關於查詢性能的任何答案。 KSQLDB 拉取的效率如何？ 它會掃描整個表格嗎？ 它是否查詢在 RocksDb 中具有與之關聯的索引的鍵？ 您可以禁用 ...
無法在 ksqlDB 中獲取標頭
[英]Unable to get headers in ksqlDB
我想使用查詢來獲取 kafka 消息數據（鍵、值和標頭）來執行一些操作。 CREATE STREAM A ( k1 VARCHAR KEY,v1 VARCHAR,h1 ARRAY<STRUCT<key STRING, value BYTES>> HEADERS) WITH ( ...
如何安裝與安全代理通信的 cp-ksql-server Helm Chart
[英]How to Install cp-ksql-server Helm Chart that Communicates with Secured Broker
我正在嘗試將 KSQLDB Helm 圖表cp-ksqldb-server與受 SSL 保護的 Kafka 代理連接。 我用於經紀人的圖表是bitnami/kafka 。 我已使用此腳本創建密鑰庫和信任庫 JKS 文件。 創建這些文件的秘密並將秘密傳遞給 bitnami/kafka helm ch ...