如何將消息分發到kafka connect中由`offset.storage.topic`定義的主題中的所有分區
[英]how to distribute messages to all partitions in topic defined by `offset.storage.topic` in kafka connect
我已經使用從docker pull debezium/connect的 docker 圖像部署了 debezium 在https://hub.docker.com/r/debezium/connect提供的文檔中，環境變量OFFSET_STORAGE_TOPIC之一的描述如下： 運行 Kafka C ...
Kafka Connect 還是 Kafka Streams？
[英]Kafka Connect or Kafka Streams?
我需要從主題中讀取消息，根據提供的配置豐富消息（豐富所需的數據來自外部系統），並將豐富的消息發布到 output 主題。 關於 source 和 output 主題的消息應該是 Avro 格式。 這是自定義 Kafka 連接器的好用例還是我應該使用 Kafka Streams？ 為什么我要考慮 K ...
為什么每當我嘗試運行 DataStax Kafka Connector 時 Cassandra 都會崩潰？
[英]Why is Cassandra crashing whenever I try to run DataStax Kafka Connector?
目標：我的目標是使用 Kafka 使用 Kafka Connect 將消息發送到 Cassandra 接收器。 我已經部署了 Kafka 和 Cassandra，我能夠單獨使用它們中的每一個——我可以毫無問題地將數據發送到 Kafka，使用生產者傳遞消息，並使用消費者來消費它們。 我使用 cqls ...
Kafka JDBC 接收器連接器嘗試在刪除時更新目標表但失敗
[英]Kafka JDBC sink connector trying to update destination table on delete and fails
我正在使用 Debezium 源連接器 (postgres) 跟蹤數據庫對 kafka 的更改，我正在使用 kafka jdbc 接收器連接器將數據傳輸到另一個 postgres 服務器。 這里插入和更新工作正常。 問題在於刪除。 每當刪除發生在源數據庫 debezium 發送墓碑消息。 但是 jd ...
MM2.0消費群體行為
[英]MM2.0 consumer group behavior
我正在嘗試運行一些測試來了解 MM2 的行為。 作為其中的一部分，我有以下問題： 如何在mm2.properties中正確傳遞 MM2 的自定義消費者組？ 基於這個問題，嘗試在 mm2.properties 中傳遞<alias>.group.id=temp_cons_group mm2. ...
Kafka connect -Debezium- Oracle JDBC 消耗 debezium(oracle) CDC 事件的接收器連接器錯誤
[英]Kafka connect -Debezium- Oracle JDBC Sink connector error consuming debezium(oracle) CDC event
我有以下圖像在 docker 中運行。 quay.io/debezium/connect:2.0 quay.io/debezium/kafka:2.0 quay.io/debezium/zookeeper:2.0 container-registry.oracle.com/database/ ...
使用 JdbcSourceConnector 時區問題的雪花到 kafka 主題
[英]Snowflake to kafka topic using JdbcSourceConnector timezone issue
我正在使用 POC Usecase 設置 JDBC 連接器以從 Snowflake 數據庫獲取數據並將其推送到 Kafka 主題。 我遇到了與時區相關的問題，例外情況是Kafka Connect Date type should not have any time fields set to non ...
Debezium：僅在 column.include.list 中的列發生更改時才生成消息
[英]Debezium: Produce messages only upon changes to columns in column.include.list
我正在運行 Debezium，其中column.include.list配置為源 MySQL 數據庫的每個觀察表上的列子集。 對源表上記錄的更改已成功發布到 Kafka，每條消息before和after的值僅包含該列的子集。 但是，當不在column.include.list中的觀察表的列發生更改時 ...
嘗試部署 debezium 連接器時，沒有可從字符串值反序列化的字符串參數構造函數/工廠方法
[英]no String-argument constructor/factory method to deserialize from String value, when trying to deploy a debezium connector
我正在觀看 kafka connect 的視頻教程，他希望我在 cmd 中使用以下 curl 命令部署 debezium 連接器： 但是，當我運行該命令時，出現以下錯誤： 關於我做錯了什么的任何想法？ ...
如何在 Kafka 連接器中添加自定義分區程序
[英]How can I add custom partitioner in Kafka Connector
我已使用 MongoDB 源連接器將 MongoDB Atlas 與我的 Kafka 連接起來。 現在我想通過使用一些 hash function 將消息存儲到我的主題中的特定分區。 我查看了有關添加自定義分區程序的 confluent 文檔，但一無所獲。 ...
如何使用kafka連接到普羅米修斯中的TSDB數據庫顯示kafka主題消息
[英]How to display kafka topic message using kafka connect to TSDB database in Prometheus
我想監控普羅米修斯中的kafka主題消息。 我將同樣使用 kafka connect，但我想了解如何在 prometheus tsdb 中獲取消息內容詳細信息。 ...
當使用 syatemctl 停止 kafka-connect-worker 時，從 ec2 datadog agent 向 datadog 發送指標
[英]send metrics to datadog from ec2 datadog agent when syatemctl is used to stop kafka-connect- worker
我在 ec2 上的 Kafka-worker-connect 和 Datadog 代理並將指標發送到 Datadog。 當我使用 systemctl stop Kafka-worker-connect 時，它會關閉整個應用程序而不會將指標發送給 datadog。 我嘗試了 curl 刪除操作來停止 ...
在 confluent connect CRD 類型中添加一個 jar 文件
[英]Add a jar file into confluent connect CRD type
我正在嘗試使用在 kube.netes AKS 集群中運行的 Confluent 平台中的 JDBC 連接器。 我可以創建連接器，但遇到此錯誤： 我知道那是因為我沒有將驅動程序安裝到連接器文件夾中，但我不知道如何將其插入正確的 position。 這就是我創建 Kafka Connect 的方式： ...
使用新連接器擴展的 confluentinc/cp-server-connect docker 圖像時，如何在重新啟動之間保持連接器的配置
[英]How can I keep connector's configuration between restarts when using confluentinc/cp-server-connect docker image extended with new connector
我正在使用帶有 elasticsearch 接收器連接器（ https ://www.confluent.io/hub/confluentinc /kafka-connect- elasticsearch ) 我添加了 dockerfile 並重建了圖像，它工作得很好。 我正在使用 http 請求配 ...
BigQuery 接收器連接器配置錯誤
[英]Errors with BigQuery Sink Connector Configuration
我正在嘗試將數據從 MySQL 提取到 BigQuery。 為此，我正在使用運行在 Docker 上的 Debezium 組件。 每當我嘗試將 BigQuery 接收器連接器部署到 Kafka 連接時，我都會收到此錯誤： 它表明這是服務帳戶密鑰的問題（試圖找到它） 我授予服務帳戶 BigQuery ...
Confluent 連接器任務失敗
[英]Confluent connector tasks have failed
啟動了 docker 容器 (cp-kafka-connect-base:7.0.1) 並安裝了自我管理的連接器 (debezium-connector-mysql:latest)。 Docker 容器運行良好。 當我嘗試如下配置連接器配置時 連接器創建但連接任務失敗連接器日志 嘗試添加一些額外的 ...
如何使用 kafka 連接器（即源和接收器）將 hive 連接到 mysql？
[英]How to connect hive to mysql using kafka connectors(i.e. source and sink)?
我必須制作用於將 HIVE 連接到 MYSQL 的 Kafka 源和接收器連接器。 我找不到關於上述問題的任何信息。 我也看過融合網站。 ...
如何使用 Kafka Connect 將數據從源 Kafka 集群傳輸到目標 Kafka 集群？
[英]How to transfer data from source Kafka cluster to target Kafka cluster using Kafka Connect?
如標題中所述，我有一個用例，我想使用 Kafka 連接框架將數據從源 Kafka 主題（Cloudera Kafka 集群）復制到目標 Kafka 主題（AWS MSK Kafka 集群）。 我已經了解了一些可用選項，例如 KafkaCat Utility 和 Mirror Maker 2。但我很 ...
Confluent-hub 無法下載插件“找不到組件”
[英]Confluent-hub failed to download plugins 'Component not found'
我正在通過融合平台 helm-chart（此處）使用 kafka/kafka-connect。 對於 Kafka-Connect，我想同時安裝 debezium SQLServer 源連接器和 BQ 接收器連接器，我在當前設置中發現它的唯一方法是更新template/deployment.yaml ...
我正在嘗試使用 kafka connect 將我的本地服務器數據庫（Mssql 數據庫）連接到不同的數據庫（Mssql 但不同的表）？
[英]I am trying to connect my local server database(Mssql Database) to different database (Mssql but different table) using kafka connect?
創建源連接。 創建接收器連接。 connector.class來自融合社區。 但我想要它來自 Apache Kafka 這是開源的我們正在搜索如何用 apache kafka one 替換該行。 ...