Confluent 設置：使用 python 腳本作為 JDBC 接收器的源

Question

Kafka 的新手和 Confluent 在這里......

所以我遵循了這個關於將 MySQL 數據庫連接到 Kafka stream 的不錯的小教程： https://github.com/confluentinc/demo-scene/tree/master/kafka-to-database 。 一切正常。

現在，我試圖把同樣的想法記下來，但源是一個 python 腳本，其中生產者將隨機生成的數據發送到一個主題，而 Kafka Connect 將這些更改發送到 PostgreSQL 數據庫。 我正在運行融合的獨立模式，並成功地將 PostgreSQL 數據庫連接為接收器。 但是，當我通過 python 腳本向主題發送消息時，它不會寫入 PostgreSQL 數據庫。 從生產者發送消息與從 stream 運行數據不同嗎？ 如果是這樣，我怎樣才能讓它運行？

Answer 1

來自生產者的數據與來自 stream 的運行數據不同

不清楚這是什么意思。 ksqlDB 中的“A Stream”仍在內部使用生產者。

它不會寫入 PostgreSQL 數據庫。

查看 Connect 進程/服務器日志中的錯誤，而不是數據庫。

---

您需要一個事件架構才能使用 JDBC 連接器。 ksqlDB 為你添加了一個模式......你不能發送純字符串（或 JSON 沒有schema和payload字段）。

https://www.confluent.io/blog/kafka-connect-deep-dive-converters-serialization-explained/

請參閱 Confluent 提供的生產者示例，以將 Python 與架構注冊表一起使用 - https://github.com/confluentinc/confluent-kafka-python/tree/master/examples