如何在C＃中反序列化ksql查詢的行鍵？

[英]How to deserialize the rowkey of a ksql query in c#?

我想顯示查詢結果的ROWKEY。 不幸的是，它未序列化，因為ksql當前不支持此功能。 沒問題，我可以自己做。 但是我不知道怎么 因此，如果我通過rest api執行此操作： 如何將該結果轉換為可在C＃中實際使用的內容？ 結果如何構成（例如：\\ u0000 \\ u0 ...

我可以在KSQL中按兩列進行分區嗎

[英]Can I PARTITION BY two columns in KSQL

我有兩個主題用戶（包含所有用戶信息）和交易（包含用戶進行的所有交易，包括“發送者”和“接收者ID”），我的所有主題數據都是嵌套的。 我要做的第一件事是CREATE STREAM，然后我創建了另一個STREAM重命名那些嵌套字段，因為PARTITION BY不以某種方式接受嵌套字段，一切正常 ...

KSQL WebSocket端點

[英]KSQL websocket endpoints

我想使用Web套接字查詢對KSQL Server使用連續查詢。 我聽說KSQL CLI和控制中心使用Web套接字請求與KSQL Server進行交互，但是我在KSQL REST API參考中找不到有關使用Web套接字的任何信息。 如何配置和使用此功能？ ...

ksql流列名中的小寫字符使列為空

[英]Lowercase character in ksql stream column name make the column null

我使用以下命令從現有流post_raw創建了新的流post ： create stream "post" AS select id AS "ID", id AS "id" FROM post_review 。 當我運行SELECT id, "id" FROM post ，我得到： ...

每次使用KSql查詢KTable時獲取所有行

[英]Getting all the rows each time querying KTable with KSql

我想使用Ksql來對Kafka進行REST api調用，每次都從Ktable獲取所有行。 從KTable獲取所有行的最佳方法是什么？ 當我向Ktable正在偵聽的主題生成消息（exp：Key ='1'）時，我僅收到給定鍵的匯總。 對於從Web服務讀取表中所有行的每個請求，我應該進行什么 ...

KSQL從帶句點（點號）的JSON字段創建流。

[英]KSQL create stream from JSON fields with periods (`.` dot notation)

我有一個像{"destination.port":"443","network.packets":"4464","event.end":"2019-07-19T07:47:22.000Z","source.address":"1.2.2.3","message":"OK","server.add ...

適用於Kafka SQL的Java API

[英]Java API for Kafka SQL

我有一個Kafka主題，我想獲得最后5分鍾的數據。 我知道我可以用Kafka SQL做到這一點 和 我想對Web Service Java做同樣的事情，我找不到好的庫，有人遇到過這個問題嗎？ ...

ksql表向行鍵添加了額外的字符

[英]ksql table adds extra characters to rowkey

我有一些具有avro格式的kafka主題，我創建了一個流和一個表以能夠與ksql聯接，但是聯接的結果始終為null。 在排除故障之后，我發現該鍵前面帶有一些字符，具體取決於字符串的長度。 我想這與avro有關，但我找不到問題所在。 ...

JSON到KSQL中的AVRO反序列化錯誤：由於反序列化錯誤，跳過記錄

[英]JSON to AVRO deserialization in KSQL error : Skipping record due to deserialization error

我已經在AWS上建立了一個融合平台。 我的來源是MySql，並已使用debezium連接器將其連接到Kafka connect。 源中的數據格式為JSON。 現在，在KSQL中，我創建了一個派生主題，並將JSON主題轉換為AVRO，以使數據可行，從而可以使用JDBC連接器沉入MYSQL。 ...

GlobalTable與Ktable-Ktable Join進行非關鍵聯接？

[英]non-key join with GlobalTable vs Ktable-Ktable Join?

我很好奇為什么非鍵聯接可以與GlobalKTtable vs KTable-KTable一起使用 ？ 盡管我明白為什么我們不需要為globalKTable (BroadCast Join)進行共分區，但是我不明白是什么使非密鑰連接能夠實現？ 任何人都可以粗略了解發生的事情嗎？ ...

Kubernetes中的KSQL Server彈性擴展

[英]KSQL Server Elastic Scaling in Kubernetes

在kubernetes的上下文中，每個應用程序有一個KSQL SERVER是否有意義？ 當我閱讀KSQL Server的容量規划時，似乎基本設置是在一台服務器上運行多個查詢。 但是我覺得可以更好地控制使用Kubernetes進行向上和向下縮放，更合理的做法是按每個查詢固定Thread的數量， ...

KSQL SERVER與應用程序並行

[英]KSQL SERVER & Application Parallelism

假設我有5個分區的主題？ 如何確保只有一個KSQL Server，才能創建5個應用程序以匹配最大並行度？ 簡而言之，KSQL Server可以運行多個應用程序（即Kafka流應用程序）嗎？ 如果是，我如何確定要運行的查詢的實例數？ ...

用Kafka流/ KSQL連接表嗎？

[英]Join table with Kafka stream / KSQL?

我正在導入一個數據庫，其中包含一些表示多對多和一對多關系的鏈接表。 現在讓我們集中討論一對多關系。 例如，一份生物測定可以有很多文件，但一個文件只能有一個生物測定。 因此，我有一個BioAssay表[BioAssay，...，...，...]和一個鏈接表[Document，BioA ...

如何在Ksql Server上分配查詢

[英]How query are distributed on Ksql Server

考慮擴展時，我想知道如何在KSQL Server之間分配查詢？ 1-假設您有cli或融合控制中心，cli是否連接到所有服務器或其中一台？ 是否可以將查詢發送到多個KSQL SERVER，例如具有相同ID（即池ID）的KSQL SERVER？ 2-我們可以在多個KSQL SERVER ...

kafka connect可以直接創建流嗎？

[英]Can kafka connect create stream directly?

我有一種情況，我需要在Kafka中導入整個數據庫，並在DB術語中創建用戶可以查詢的那些表上的一些視圖。 我的要求是通過物理模型（表）之外的視圖來重建邏輯模型。 因此，我想知道這樣做的步驟。 我的理想情況是，kafka Connect創建與表相對應的主題，然后在那之后，讓我聲明性地（ ...

Kafka Stream Ksql Json

[英]Kafka Stream Ksql Json

kafka stream / Ksql是否實際上以某種方式原生支持json？ 支持哪些其他格式？ 我已經看到有可能將平面json解釋為表。 我想更好地理解這一部分； 可以通過SQL查詢通過Ksql進行kafka流傳輸的其他格式是什么？ 這怎么可能或得到支持？ 什么是本機支持？ ...

如何在KSQL應用程序中設置group.id

[英]How to set group.id in KSQL application

我需要在我的KSQL應用程序中設置一個'group.id'屬性。 我知道在Kafka Stream應用程序中通過'application.id'屬性是可行的，但是它不適用於KSQL。 ...

創建KSQL流時的關鍵

[英]Key while creating KSQL Stream

1）在要執行聚合功能的Stream上是否需要Key？ 我已經閱讀了多個博客，並且Confluent還建議聚合功能正常運行需要KEY 在上面的Stream上定義時，我還沒有定義任何KEY（ROWKEY為NULL）。 基礎主題“ EmpTopic”也不是密鑰。 我正在Stream上 ...

無法創建KSQL UDF jar

[英]Can't create KSQL UDF jar

我為KSQL實現了UDF（用戶定義功能），並根據https://docs.confluent.io/current/ksql/docs/developer-guide/udf.html配置了Maven pom.xml文件 當我嘗試使用mvn clean package創建jar文件時，遇到 ...

沒有數據進入從ksql二進制文件流構建的表中，如果我使用ksql提示符執行相同的操作，它會在那里嗎？

[英]No data is getting into a table built over a stream from ksql binary, it get's there if I do the same with ksql prompt?

我正在嘗試使用ksql二進制文件在流上創建一個表。 該表已創建並開始運行，但當我查詢它時，表中沒有數據。 當我使用ksql提示創建相同的表時，表創建我也能夠查詢數據。 PS：我設置此屬性SET'auto.offset.reset'='earliest'; 查詢數據表單的開頭。 ...