[英]Kafka Rest Proxy Api Uneven Distribution of messages
我有 2 個分區和 avro 格式的消息。 我通過 kafka rest 代理 api 發送消息。我使用消息的密鑰。 鍵是一個字符串。 例如,有我的鑰匙: 41:46-300、41:45-300、41:44-300、41:43-300、41:42-300。 但是消息分布不均勻。 在分區 0 中,有 ...
[英]Kafka Rest Proxy Api Uneven Distribution of messages
我有 2 個分區和 avro 格式的消息。 我通過 kafka rest 代理 api 發送消息。我使用消息的密鑰。 鍵是一個字符串。 例如,有我的鑰匙: 41:46-300、41:45-300、41:44-300、41:43-300、41:42-300。 但是消息分布不均勻。 在分區 0 中,有 ...
[英]Produce Protobuf message using Rest proxy API
我正在探索將 ITSM 系統與 Kafka 集成的選項。 這需要通過 rest 代理 API 發送到 Kafka 的 Protobuf 消息。 我按照以下兩篇文章設置了請求正文和標頭。 https://quachtd.com/using-kafka-rest-proxy-with-protobuf ...
[英]Meaning of beginning_offset in Kafka topic GET /offsets API
這是來自https://docs.confluent.io/5.5.11/kafka-rest/api.html#partitions Confluent 文檔的 API。 它返回這個 - 我的問題是, begin_offset 是什么意思? 不是所有情況都為零,將消息推送到主題是從零偏移量開始的嗎 ...
[英]Error when registering schema. Problem to produce AVRO messages via Kafka REST. Error_code: 40801
我正在按照融合教程來生成消息( Produce 和 Consume Avro Messages ),但是當我在定義模式注冊表的消息中發布時,它給出了以下錯誤,我不知道如何繼續,我已經查看了幾個地方都沒有這個錯誤 { "error_code": 40801, "message": "E ...
[英]Kafka Schema Registry - block messages that aren't accepted in the schema registry in kafka
我在 kafka 中有一個模式,每次我在這個主題中發布帖子時,我都需要它,我注冊的模式會檢查它是否與正在發送的模式相同。 我的架構是: 卷發: 我需要的是,當我在主題中發帖時,如果沒有此模式,則不允許我發送 我應該在這里指責一個錯誤,因為我沒有發送正確的架構 在那種情況下它會起作用 誰 ...
[英]How to setup Rest proxy on kafka clusture (excluding confluent or any other third party licensed )?
每次搜索都會返回 Kafka REST 代理的 Confluent 頁面。 有沒有其他方法可以使用普通應用程序或任何開源應用程序進行設置? ...
[英]Kafka - increase partition count of existing topic through Confluent REST Api
我需要將分區添加到現有的 Kafka 主題。 我知道可以使用/bin/kafka-topics.sh腳本來實現這一點,但我更願意通過Confluent REST api 來實現。 據我所知,api 參考中沒有記錄端點,但我想知道這里的其他人是否能夠完成這項工作。 編輯:因為在這里使用 REST a ...
[英]how to change kafka rest proxy log level
我正在使用 apache kafka rest 代理使用 docker 撰寫,它使繁重的日志文件比我的按摩大小更重 我有任何參數可以設置或可以做些什么來禁用它嗎? ...
[英]Can't produce to Confluent Kafka topic through Kafka REST API
我無法通過 Rest API 代理生成 Kafka 主題。 我有一個正在運行的融合 kafka 集群,我想在其中創建一個主題並使用 REST API 向它生成一條消息。 為此,我遵循了文檔並創建了 API 密鑰和密鑰。 我設法創建主題: 我的問題:我無法制作該主題(無法通過 Kafka Rest A ...
[英]how can I make a kafka rest api call when the key is unquoted?
我正在嘗試將 kafka 消息發送到 android 應用程序。 我在游戲后期才意識到唯一的方法就是使用 Kafka Rest Proxy。 我已經設置好了,但我的密鑰沒有被引用導致反序列化錯誤。 使用/bin/kafka-console-consumer --bootstrap-server ...
[英]What schema format supports Kafka REST v3?
我透露教程中的教程模式版本引用在 kafka version3 中不起作用。 另外,如果我嘗試通過 kafka-rest v2 從 cp-kafka-rest:6.2.1 而不是 cp-kafka-rest:6.1.0 發送相同的教程,我會收到同樣的結果我得出的一個假設是 schema-regis ...
[英]Confluent Kafka REST Proxy Docker confluentinc/cp-kafka-rest:6.2.1 - couldn't start because of LOG4J errors
我的配置: 錯誤日志: 我在這里閱讀了如何設置 Kafka REST API: https : //docs.confluent.io/platform/current/installation/docker/config-reference.html#crest-long-configur ...
[英]kafka rest proxy API specify the numbers of records you want to get
kafka rest proxy指定要獲取的記錄數。 GET /consumers/(string:group_name)/instances/(string:instance)/records 獲取使用訂閱/分配 API 之一指定的主題或分區的數據。 這個 api 用於從主題中獲 ...
[英]Responding with custom response content in kafka rest proxy response payload
是否可以修改/自定義響應內容? 假設我們設置了 kafka rest 代理來接收來自外部服務的數據,並且我們不想泄露敏感信息,比如存儲了分區和偏移量數據。 我們只想回復說記錄已處理/已收到(或未處理)。 當前成功響應(for 200) 上面的響應可以自定義或截取到下面的響應嗎? ...
[英]Kafka Rest Proxy exits with error code 1 and no descriptive log output on Kubernetes
我需要在 kubernetes 上啟動 Kafka Rest Proxy。 當我使用 docker-compose 在本地機器上使用本地 Kafka 代理和 zookeeper 啟動它時,它運行良好,我得到了最后一個日志輸出,指出 Kafka Rest 正在運行並等待請求。 當我在 kubernet ...
[英]how to properly register Protobuf schema with Schema Registry / Kafka-Rest
我正在嘗試使用 kafka-rest 接口將 Protobuf 模式發布到模式注冊表: 我收到此錯誤: 問題:指示此工作的媒體類型的正確方法是什么? ...
[英]Could not find a 'KafkaClient' entry in the JAAS configuration. System property 'java.security.auth.login.config' is not set from Kafka rest proxy
我正在嘗試將 kafka rest 代理用於 AWS MSK 集群。 MSK 加密詳細信息: 集群內 TLS 加密:啟用客戶和經紀人之間 TLS 加密:啟用明文:未啟用我在 MSK 上創建了主題“TestTopic”,然后在與 MSK 相同的 VPC 中創建了另一個 EC2 實例,以用作 Rest ...
[英]Kafka confluent proxy api - send message - Internal server error
我正在嘗試將 Confluent kafka 代理 api 包裝在一個 class 中,該代理將處理生產和消費。 按照此鏈接: https://docs.confluent.io/platform/current/kafka-rest/api.html我嘗試按如下方式實現它: 但我最終使用了 api ...
[英]how to create kafka topic using confluent rest api
端點:http://localhost:8082/v3/clusters/cluster-id/topics 帖子正文:{“topic_name”:“topic-X”,“partitions_count”:1,“replication_factor”:1,“configs”:[{“name”:“cl ...
[英]Connecting to topics using Rest proxy
我是 Kafka 的新手。我已經像普通的 Java springboot 應用程序一樣實現了我的消費者。我需要使用Kafka rest 代理連接到部署在遠程代理上的主題。 I am not able to understand how it will function differently if ...