使用 kafka-connect 從多個主題更新到多個表

Question

我正在嘗試使用 JDBC 接收器連接器讀取 2 個 kafka 主題並將其更新插入到我手動創建的 2 個 Oracle 表中。 每個表都有 1 個主鍵，我想在 upsert 模式下使用它。 如果我僅用於 1 個主題且僅用於pk.fields 1 個字段，則連接器工作正常，但如果我在pk.fields輸入多個列，從每個表中pk.fields一個，則無法識別模式。 我是否缺少任何東西，請提出建議。

name=oracle_sink_prod
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
topics=KAFKA1011,JAFKA1011
connection.url=URL
connection.user=UID
connection.password=PASSWD
auto.create=false
table.name.format=KAFKA1011,JAFKA1011
pk.mode=record_value
pk.fields= ID,COMPANY 
auto.evolve=true
insert.mode=upsert

//ID is pk of kafka1011 table and COMPANY is of other

Answer 1

如果 PK 不同，只需創建兩個不同的接收器連接器。 它們都可以在同一個 Kafka Connect 工作器上運行。

您還可以選擇使用 Kafka 消息本身的密鑰。 有關更多信息，請參閱文檔。 這是更具可擴展性的選項，然后您只需要確保您的消息被正確鍵入以使其向下流到 JDBC Sink。