從 PgQ 讀取到 Apache Kafka 的最佳方式是什么？
[英]What is the best way to read from PgQ to Apache Kafka?
原文
2019-11-25 14:45:42
6
1
postgresql/
apache-kafka/
apache-kafka-connect/
debezium/
logical-decoding
問題描述
我想從一個巨大的 PostgreSQL 數據庫中的幾個表中捕獲數據更改。 最初我計划在Debezium 中使用邏輯解碼功能。 但是這個解決方案有很大的開銷，因為必須解碼整個 WAL。 另一種解決方案使用觸發器和PgQ 。 有沒有什么通用的方法可以將 PgQ 與 Kafka 或用於此目的的 Kafka 連接器集成？
1 個解決方案
解決方案1
1 2019-11-25 16:15:12
你要么去事務日志，要么去基於查詢。
您使用哪種取決於您對數據的使用。 基於查詢的輪詢數據庫，基於日志的使用日志（WAL）。
我對您關於 Debezium 具有“顯着開銷”的斷言感興趣——您是否對此進行了量化？ 我知道有很多人在使用它，並且通常不會將其作為問題提出。
對於基於查詢的捕獲，請使用 Kafka Connect JDBC 源連接器。
您可以在此處查看每種方法的優缺點： http : //rmoff.dev/ksny19-no-more-silos
在PostgreSQL中，從JSONB數組中選擇對象的最佳方法是什么？
[英]In PostgreSQL, what's the best way to select an object from a JSONB array?
從嚴格的HTML和javascript網站訪問數據庫的最佳方法是什么？
[英]What is the best way to access a database from a strictly HTML and javascript website?
通過Apache-kafka將刪除事件從MySQL流式傳輸到PostgreSQL
[英]Stream delete events from MySQL to PostgreSQL via Apache-kafka
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.