標簽[apache-kafka] - 堆棧內存溢出

[英]AKHQ: Couldn't find any clusters on your configuration file, please ensure that the configuration file is loaded correctly

我在 Kube.netes 中的 Kafka 引導程序服務器位於hm-kafka-kafka-bootstrap.hm-kafka.svc:9092 。我正在嘗試在我的 Kube.netes 集群中部署AKHQ 。這是我的步驟：helm upgrade \ akhq \ akhq \ ...

Flink在java中使用多種數據結構

[英]Flink using multiple structures of data in java

我正在從 Java 中的 kafka 讀取數據，以在 Apache Flink 中執行一些處理並接收結果。我有 kafka 主題topic_a ，其中有一些數據，例如 {name: "abc", age: 20} 和一些數據，例如 {pin: 111, number: 999999, addres ...

帶有 docker 的 KAFKA：集群離線但容器根據“docker ps -a”啟動

[英]KAFKA with docker : cluster offline but container are up according "to docker ps -a"

我是 kafka 的新手，我正在嘗試做一些簡單的事情。我用 docker 運行 kafka。這是我的 docker-compose：如您所見，我將 My IP 作為KAFKA_ADVERTISED_HOST_NAMEE的 127.0.0.1 然后我這樣做： docker-compose up - ...

如何將消息分發到kafka connect中由`offset.storage.topic`定義的主題中的所有分區

[英]how to distribute messages to all partitions in topic defined by `offset.storage.topic` in kafka connect

我已經使用從docker pull debezium/connect的 docker 圖像部署了 debezium 在https://hub.docker.com/r/debezium/connect提供的文檔中，環境變量OFFSET_STORAGE_TOPIC之一的描述如下：運行 Kafka C ...

Silverback 消息未發布到正確的 Kafka 主題

[英]Silverback messages not published to the correct Kafka Topic

我正在使用庫Silverback和 Apache Kafka 作為消息代理。我有兩個消息類：發布到“動物”Kafka 主題/從“動物”主題消費的動物（基類） Dog（擴展 Animal，但沒有任何附加屬性）發布到“dogs”Kafka 主題/從中消費當我發布 Dog 類型的消息時，Silver ...

Kafka 錯誤序列化 Avro 消息 Caused by: java.net.SocketException: Connection reset

[英]Kafka Error serializing Avro message Caused by: java.net.SocketException: Connection reset

我正在嘗試 Kafka 流，設法將 stream 普通字符串從一個主題轉移到另一個主題，但現在我想將其序列化為 AVRO 消息。我在 inte.net 上四處尋找解決方案，但沒有找到，所以這是我最后的希望。這是我的代碼當我運行它時出現以下錯誤：不知道出了什么問題，我搜索了多個網站以找到解決 ...

讓 NestJs Kafka 與 Avro 一起工作的例子？

[英]Example to make NestJs Kafka work with Avro?

我正在尋找一個將 NestJS Kafka 微服務與 Avro 架構一起使用的示例。到目前為止，消費者正在使用 Json Object，但我們正在尋找以 Avro 作為模式類型的模式注冊表。卡夫卡配置：消費者： ...

Kafka Connect 還是 Kafka Streams？

[英]Kafka Connect or Kafka Streams?

我需要從主題中讀取消息，根據提供的配置豐富消息（豐富所需的數據來自外部系統），並將豐富的消息發布到 output 主題。關於 source 和 output 主題的消息應該是 Avro 格式。這是自定義 Kafka 連接器的好用例還是我應該使用 Kafka Streams？為什么我要考慮 K ...

Kafka Streams - 禁用內部主題創建

[英]Kafka Streams - disable internal topic creation

我在一個必須使用共享 Kafka 集群的組織工作。由於公司內部政策，我們用於身份驗證的帳戶僅具有分配的讀/寫權限。我們無法請求主題創建權限。要創建主題，我們需要遵循入職程序並預先知道主題名稱。正如我們所知，Kafka Streams 創建內部主題來持久化流的 state。有沒有辦法禁用容錯 ...

將 json 記錄從 dataframe 列寫入 Spark Streaming 中的 S3

[英]writing json record from dataframe column to S3 in spark streaming

我有一個以下面格式顯示的 drataframe，其中記錄為 json 數據（字符串格式）從 kafka 主題讀取我只需要將 dataframe 中存在的 json 記錄寫入 S3。有什么辦法可以解析記錄並將 json 轉換為 dataframe 並寫入 s3？或提供的任何其他解決方案將有所幫 ...

通過 Fluentd 訪問列表項

[英]access list item by Fluentd

我正在處理 Fluentd 的 yaml 文件配置。輸入數據來自 kafka 作為 json 文件。其中一些是列表，例如： { a:[ a1:"1", a2:"2", ... ], b:"10" } Fluentd 如何訪問這個 json 的一系列列表項（例如前 10 項）。我寫了這個配置以訪 ...

Spring Kafka：3 個應用程序 setConcurrency(1) 與 1 個應用程序 setConcurrency(3) 之間的區別

[英]Spring Kafka: Difference between 3 apps setConcurrency(1) vs 1 app setConcurrency(3)

關於卡夫卡與 Spring 卡夫卡並發的小問題請問。我有一個 Kafka 主題theimportanttopic ，許多消息都通過它發送。事實上，這個 Kafka 主題有三個分區。（稱他們為theimportanttopic-0 theimportanttopic-1 theimportan ...

在不同的服務器上為 Kafka 集群運行 provectus/kafka-ui

[英]Run provectus/kafka-ui for a Kafka cluster on a different Server

我在嘗試運行 provectus/kafka-ui docker 容器時遇到了一些麻煩。我有一組服務器都在同一個 internal.network 上運行。在其中三台服務器上實現了 Kafka 集群（Zookeeper 和 Broker）。 Broker 的結構如下所示：問題是沒有 Doc ...

為什么每當我嘗試運行 DataStax Kafka Connector 時 Cassandra 都會崩潰？

[英]Why is Cassandra crashing whenever I try to run DataStax Kafka Connector?

目標：我的目標是使用 Kafka 使用 Kafka Connect 將消息發送到 Cassandra 接收器。我已經部署了 Kafka 和 Cassandra，我能夠單獨使用它們中的每一個——我可以毫無問題地將數據發送到 Kafka，使用生產者傳遞消息，並使用消費者來消費它們。我使用 cqls ...

Kafka Rest Proxy Api 消息分布不均勻

[英]Kafka Rest Proxy Api Uneven Distribution of messages

我有 2 個分區和 avro 格式的消息。我通過 kafka rest 代理 api 發送消息。我使用消息的密鑰。鍵是一個字符串。例如，有我的鑰匙： 41:46-300、41:45-300、41:44-300、41:43-300、41:42-300。但是消息分布不均勻。在分區 0 中，有 ...

Kafka 復制因子 JMX

[英]Kafka Replication factor JMX

當我復制我的消息時，我正在嘗試收集一些 Kafka Telemetry 。當我在 3 個實例中復制記錄時，我認為我的瓶頸在 .network 中RF=3 我需要數據來支持我的理論，那么我們是否有任何JMX數據可以告訴我在Grafana中在三台機器中復制一條記錄需要多少時間。問候。 ...

Spark Streaming HUDI HoodieException: Config conflict(key current value existing value): RecordKey:

[英]Spark Streaming HUDI HoodieException: Config conflict(key current value existing value): RecordKey:

當我使用 spark 連接到 kafka 主題並創建 dataframe 然后存儲到 Hudi 中時：我收到以下異常：將所有kafka數據存儲到Hudi表中 ...

我應該有一個專用的（內部）api 端點來生成 kafka 事件嗎？

[英]Should i have a dedicated (internal) api endpoint for producing kafka events?

這比讓需要發出它的人直接完成 Kafka 生產者事件更值得推薦嗎？ ...

Kafka 消費者實現在 Python 中不起作用

[英]Kafka consumer implementation not working in Python

第一次使用 Kafka，我遇到了一個問題。我的消費者有以下實現：憑據應正確實施的位置。我收到了訂閱該主題的消息，沒有錯誤，但是沒有生成消息，盡管我確定該主題上有要使用的消息。我在這里缺少一些必要的配置嗎？ ...

新的flink Kafka consumer（KafkaSource）能否從舊的FlinkKafkaConsumer的Savepoint/checkpoint開始？

[英]Can new flink Kafka consumer (KafkaSource) start from the old FlinkKafkaConsumer's Savepoint/checkpoint?

我有一份工作正在與舊的 flink Kafka 消費者 ( FlinkKafkaConsumer ) 一起運行，現在我想將它遷移到KafkaSource 。但我不確定這次遷移會產生什么影響。我希望我的工作從舊的 FlinkKafkaConsumer 最新成功的檢查點開始，這可能嗎？如果不可能 ...