堆棧內存溢出
cost 194 ms
如何將消息分發到kafka connect中由`offset.storage.topic`定義的主題中的所有分區

[英]how to distribute messages to all partitions in topic defined by `offset.storage.topic` in kafka connect

我已經使用從docker pull debezium/connect的 docker 圖像部署了 debezium 在https://hub.docker.com/r/debezium/connect提供的文檔中，環境變量OFFSET_STORAGE_TOPIC之一的描述如下： 運行 Kafka C ...

Kafka JDBC 接收器連接器嘗試在刪除時更新目標表但失敗

[英]Kafka JDBC sink connector trying to update destination table on delete and fails

我正在使用 Debezium 源連接器 (postgres) 跟蹤數據庫對 kafka 的更改，我正在使用 kafka jdbc 接收器連接器將數據傳輸到另一個 postgres 服務器。 這里插入和更新工作正常。 問題在於刪除。 每當刪除發生在源數據庫 debezium 發送墓碑消息。 但是 jd ...

Debezium：僅在 column.include.list 中的列發生更改時才生成消息

[英]Debezium: Produce messages only upon changes to columns in column.include.list

我正在運行 Debezium，其中column.include.list配置為源 MySQL 數據庫的每個觀察表上的列子集。 對源表上記錄的更改已成功發布到 Kafka，每條消息before和after的值僅包含該列的子集。 但是，當不在column.include.list中的觀察表的列發生更改時 ...

嘗試部署 debezium 連接器時，沒有可從字符串值反序列化的字符串參數構造函數/工廠方法

[英]no String-argument constructor/factory method to deserialize from String value, when trying to deploy a debezium connector

我正在觀看 kafka connect 的視頻教程，他希望我在 cmd 中使用以下 curl 命令部署 debezium 連接器： 但是，當我運行該命令時，出現以下錯誤： 關於我做錯了什么的任何想法？ ...

BigQuery 接收器連接器配置錯誤

[英]Errors with BigQuery Sink Connector Configuration

我正在嘗試將數據從 MySQL 提取到 BigQuery。 為此，我正在使用運行在 Docker 上的 Debezium 組件。 每當我嘗試將 BigQuery 接收器連接器部署到 Kafka 連接時，我都會收到此錯誤： 它表明這是服務帳戶密鑰的問題（試圖找到它） 我授予服務帳戶 BigQuery ...

Confluent 連接器任務失敗

[英]Confluent connector tasks have failed

啟動了 docker 容器 (cp-kafka-connect-base:7.0.1) 並安裝了自我管理的連接器 (debezium-connector-mysql:latest)。 Docker 容器運行良好。 當我嘗試如下配置連接器配置時 連接器創建但連接任務失敗連接器日志 嘗試添加一些額外的 ...

Debezium MYSQL 連接器在初始快照期間超時

[英]Debezium MYSQL Connector Timing out during initial snapshot

我們已經在 Kafka Connect 上部署了 Debezium MYSQL 源連接器，以連接來自 MYSQL 表的 stream 數據。 連接器適用於非常大的表（3400 萬條記錄）。 問題在於這張表，其中插入和更新每秒發生一次，並且大約有。 2000 萬條記錄。 Debezium 連接器在 ...

配置 Debezium CDC -> Kafka -> JDBC Sink (Multiple tables) 問題

[英]Configure Debezium CDC -> Kafka -> JDBC Sink (Multiple tables) Question

我們在 SQL 服務器數據庫（應用程序數據庫）中有大約 100 個表，需要近乎實時地同步到 SQL 服務器數據庫（用於分析）。 未來用例：近乎實時地將 30 個源數據庫的概念證明擴展到一個目標數據庫（用於分析）。 我正在考慮為多個表使用一個接收器連接器或幾個接收器連接器。 如果這是個好主意，請告訴我 ...

在kafka-python中使用Debezium時無法使用來自kafka的消息

[英]Cannot Consume Messages from kafka when using Debezium in kafka-python

我能夠實現整個管道，在其中我將一些示例文檔插入到 postgres 表中，並且當我執行到容器中時，我能夠在我的 kafka 主題中看到這些 CDC 項目，但是在本地運行 python 時無法獲取任何消息 Docker 撰寫文件 Debezium 設置 CURL SQL 命令 測試 Docker ...

Flink 無法反序列化 Debezium 生成的 JSON

[英]Flink failed to deserialize JSON produced by Debezium

我正在嘗試使用 Flink 來使用 Debezium 生成的更改事件日志。 JSON 是這樣的： 我嘗試了兩種方法來聲明輸入模式。 第一種方式是直接解析 JSON 數據： 但是 Flink 會拋出錯誤org.apache.flink.formats.json.JsonToRowDataConve ...

Debezium docker-compose-mysql-avro-worker.yaml 連接器問題：找不到類 io.confluent.connect.avro.AvroConverter

[英]Debezium docker-compose-mysql-avro-worker.yaml connector issue: Class io.confluent.connect.avro.AvroConverter could not be found

我正在使用來自 debezium - docker -compose-mysql-avro-worker.yaml 的官方 docker compose 設置。 根據需要 - 我已經開始使用下面的設置 - 容器quay.io/debezium/connect:2.0無法啟動並出現以下錯誤 - 1 ...

我無法使用 Debezium-Java 捕獲數據更改

[英]I am not able to capture data changes with Debezium-Java

我正在嘗試用 Java 制作一個 Debezium 示例。 每次在數據庫中刪除數據時，我都想捕獲它。 當應用程序運行時，它會在屏幕上打印以下日志： 但是當我刪除數據庫中的某些內容時，debezium 無法捕獲它。 連接配置類 配置數據類： 聯系： 我希望名為handleEvent的方法在從 User ...

org.apache.kafka.common.errors.InconsistentGroupProtocolException: 組成員支持的協議與現有協議不兼容

[英]org.apache.kafka.common.errors.InconsistentGroupProtocolException: The group member's supported protocols are incompatible with those of existing

我正在嘗試使用 spring-boot 應用程序連接到 kafka 主題，但出現此錯誤： 當我配置我的消費者時，我提供 所以我不知道哪個協議丟失/為空。 過去有沒有人解決過這個問題？ 我試圖搜索該站點，但那里發現的問題不適合我。 例如，partition.assignment.strategy 在服 ...

如何使用 Debezium 在沒有任何 cdc 事件/記錄的情況下將模式推送到 Apicurio 模式注冊表

[英]How to push schema to Apicurio schema registry without any cdc event/records using Debezium

用例：我需要sql數據庫中所有表的所有模式都出現在 apicurio 注冊表中，而沒有使用 Debezium 的 cdc 表中的任何 cdc 記錄。 目前，只有那些啟用了 CDC 的表以及更新了它們的任何記錄時，模式才會被推送到 Apicurio。 要求：有沒有辦法在沒有 cdc 事件或不修改任何表 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM