堆棧內存溢出
cost 175 ms
我如何告知 confluence cloud 上的主題以編程方式使用特定模式？

[英]How do I tell a topic on confluence cloud to use a specific schema programmatically?

所以我知道如何使用 confluent_kafka AdminClient 實例在 Confluent Cloud 上創建主題，但我不確定如何以編程方式設置主題的消息模式？ 澄清一下，我將要使用的模式保存在本地的 avro 模式文件 (.avsc) 中 ...

Confluent Kafka 輪詢，消息何時提交

[英]Confluent Kafka poll, when does a message get committed

我有一個 Python 應用程序，它具有 autocommit=True 並且它使用poll()以 1 秒的間隔獲取消息。 我正在閱讀文檔，它提到輪詢在后台線程中讀取消息並將它們排隊，以便主線程可以在之后接收它們。 如果我有多個消息queued並且我的消費者崩潰了會發生什么，我有點困惑。 那些從后台 ...

Confluent-Kafka Python - 描述消費者群體（獲取每個消費者群體的滯后）

[英]Confluent-Kafka Python - Describe consumer groups (to get the lag of each consumer group)

我想使用 confluent-kafka 獲取消費者組的詳細信息。 與之對應的 cli 是 ` 我的最終目標是從 output 中獲取滯后值。confluent-kafka python API 中是否有任何方法可以獲取這些詳細信息。 java API中有方法，但我在python API中找不到 ...

無法升級 Python 3.11 由於 Locust-plugin 安裝錯誤 (Confluent-Kafka)

[英]Unable to upgrade Python 3.11 due to error in Locust-plugin installation (Confluent-Kafka)

將 Python 升級到 3.11 后，Locust-plugin 安裝失敗，因為它的依賴項之一拋出錯誤首先它要求我安裝 VC++ > 14.0 安裝 VC++ 構建工具 15 后，仍然會拋出不同的錯誤注意：我們直到 Python 3.10.8 才發現此問題請讓我知道是否有任何修復？ ...

使用 python 在沒有 while 循環的情況下運行 kafka 消費者

[英]Run kafka consumer without while loop using python

我正在將 Confluentinc Kafka 與 Python 和多線程一起使用。 在這里，我有 N 個並行運行的工作線程，每當一個線程完成其工作時，它就會按需輪詢來自 kafka 的消息。 整個工作是使用 while 循環完成的。 通過使用 while 循環，我的主線程被阻塞並且無法執行其他操作 ...

使用 confluent kafka python 獲取消費者組 state

[英]Get consumer group state using confluent kafka python

我目前正在這樣做以獲取groupmetadata列表的組元數據 有沒有辦法實現以下目標 它拋出一個錯誤，它只需要一個字符串參數，下一個是 integer。 但是當我檢查文檔時，我希望它適用於選定的組。 我在這里錯過了什么？ 有沒有辦法做到這一點？ 謝謝。 ...

導入錯誤 confluent_kafka mach-o 文件，但是是不兼容的架構（有（arm64），需要（x86_64）））

[英]import error confluent_kafka mach-o file, but is an incompatible architecture (have (arm64), need (x86_64)))

我正在使用帶有 M 系列芯片的 Macbook。 在運行具有 confluent-kafka 依賴項的 python 時，出現此錯誤。 使用 pip3 安裝依賴項。 還安裝了 librdkafka ImportError: dlopen(/Library/Python/3.8/site-packa ...

confluent_kafka：如何在讀取數據之前可靠地尋找（避免錯誤狀態）

[英]confluent_kafka: how to reliably seek before reading data (avoiding Erroneous state)

我正在嘗試將 Python 代碼從 aiokafka 切換到 confluent_kafka 並且在讀取歷史數據時遇到問題。 系統對於給定的主題只有一個生產者，以及幾個獨立的消費者（每個都有一個單獨的組 ID）。 當每個消費者啟動時，它想讀取主題子集的最新歷史消息（稱為歷史主題），然后讀取所有新消 ...

將 processing.guarentee 設置為 exact_once 在 python 消費者 kafka 處創建反序列化錯誤

[英]Setting processing.guarentee to exactly_once creates deserialization error at python consumer kafka

我有 java Kafka stream 處理應用程序和 python 應用程序。 Java 應用程序產生數據，python 消費者使用它。 當processing.guarantee設置為exactly_once時，python 消費者無法反序列化數據。 反序列化失敗。 我嘗試了 java 消費 ...

0x4 Python Confluent Kafka解壓錯誤

[英]0x4 Decompression error in Python Confluent Kafka

我一直無法讓 python-confluent-kafka 在我的 windows 服務器上工作。 在我的本地機器上創建一個簡單的消費者時，一切正常。 但是，一旦在 windows 服務器上，我將收到消息但出現以下錯誤： b'在 9550 字節的 24023756 處對消息的解壓縮（編解碼器 0x ...

confluent-kafka 消費者工作但不是生產者

[英]confluent-kafka consumer working but not producer

使用 confluent-kafka，我正在嘗試使用 Amazon MSK。 它似乎連接到 MSK，因為消費者正在工作，但生產者沒有生產任何東西。 我檢查了 kafka-console-producer.sh 消費者模塊是否正常工作。 我們有幾個使用 MSK 的后端。 這是我在開發我的服務時提到的 ...

Stream elasticsearch 數據到卡夫卡

[英]Stream elasticsearch data to kafka

這個賞金已經結束。 此問題的答案有資格獲得+50聲望賞金。 賞金寬限期在19 分鍾后結束。 RAVITEJA SATYAVADA正在從有信譽的來源尋找答案。 我對 Elasticsearch 到 Kafka 的數據有要求。 我正在查看 Elasticsearch 和 Kafka（Python 實 ...

如何在 Kafka 腳本中正確刪除然后創建主題？

[英]How to delete and then create topics correctly in a script for Kafka?

我正在編寫一個腳本來刷新我在 AWS 管理的 Kafka 集群上的主題。 每當我運行腳本時，我都需要清除現有數據，我通過刪除並再次創建相同的主題來做到這一點。 我希望腳本在重復運行時打印出成功刪除和成功創建。 但是刪除/創建每隔一次運行就會失敗，這讓我感到困惑。 以下是我的腳本：# manage_ ...

在 Python 中使用 Kafka Avro 按摩

[英]consuming Kafka Avro massages in Python

我正在嘗試在 Python 中使用來自 Kafka Avro 的消息。 我們在 Java 中有它，它正在工作，但是當嘗試在 Jupyter 筆記本中使用它時，解析不起作用。 我遵循了文檔給出的示例：（出於安全原因，我刪除了 conf 信息） 這是我得到的錯誤： KafkaError{code ...

無法將后續事務推送到 Kafka Producer

[英]Unable to push subsequent transactions to Kafka Producer

我正在嘗試將事件分批發送到 Kafka（比如說一批 10 個事件）以維護事務保證。 但我只能成功地將第一批事件發送到 Kafka。 所有后續批次都失敗，原因是 KafkaError{code=_STATE,val=-172,str="Operation not valid in state Read ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM