如何將消息分發到kafka connect中由`offset.storage.topic`定義的主題中的所有分區

Question

我已經使用從docker pull debezium/connect的 docker 圖像部署了 debezium

在https://hub.docker.com/r/debezium/connect提供的文檔中，環境變量OFFSET_STORAGE_TOPIC之一的描述如下：

運行 Kafka Connect 服務時需要此環境變量。 將此設置為 Kafka 主題的名稱，其中 Kafka Connect 服務在組存儲連接器中偏移。 該主題必須具有大量分區（例如，25 或 50），高度復制（例如，3 倍或更多）並且應該配置為壓縮。

我創建了名為mydb-connect-offsets的所需主題，其中包含 25 個分區和 5 的復制因子。

部署成功，一切正常。 mydb-connect-offsets主題中的示例消息如下所示。 鍵是["sample-connector",{"server":"mydatabase"}]值是

{
   "transaction_id": null,
   "lsn_proc": 211534539955768,
   "lsn_commit": 211534539955768,
   "lsn": 211534539955768,
   "txId": 709459398,
   "ts_usec": 1675076680361908
}

由於密鑰是固定的，所有消息都到達主題的同一分區。 我的問題是，為什么文檔說主題必須有大量分區，而最終只使用一個分區？ 另外，需要做些什么來將消息分發到所有分區？

Answer 1

偏移量由連接器名稱鍵入，因為它們必須排序。

大分區數是為了並行管理許多不同連接器的偏移存儲，而不僅僅是一個。