Kafka Streams Cassandra 連接器

Question

我有幾個關於 Data Mountaineer 編寫的 Cassandra 連接器的問題。 在我們試圖找出擴展我們架構的最佳方式時，我們非常感謝任何幫助。

1. 我們是否必須為我們想要更新的每個 Cassandra 表創建一個連接器配置？ 例如，假設我有 1000 張桌子。 每個表專用於不同類型的小部件。 每個小部件都有相似的特征，但數據略有不同。 我們是否需要為每個表創建一個連接器？ 如果是這樣，這是如何管理的以及如何擴展的？

2. 在 Cassandra 中，我們經常需要根據業務需要對列族進行建模。 我們可能有 3 個代表用戶信息的表。 1 個用戶名，1 個電子郵件地址和 1 個姓氏。 我們是否需要 3 個連接器配置並部署 3 個單獨的 Sink 任務來將數據推送到每個表？

Answer 1

我覺得兩個問題都差不多，sink 可以處理多個話題嗎？

接收器可以在一個接收器中處理多個表，因此一種配置。 這是在 kcql 語句connect.cassandra.export.route.query=INSERT INTO orders SELECT * FROM orders-topic;INSERT INTO positions SELECT * FROM positions但目前它們需要在同一個 Cassandra 鍵空間中。 這會將來自交易主題的事件路由到名為交易和來自頭寸的事件的 Cassandra 表。 您還可以選擇特定列並重命名，如 select columnA as columnB。

您可能需要多個接收器實例來分離關注點，即將一組主題的寫入與其他不相關的主題隔離開來。

您可以根據允許連接器運行的任務數量進行擴展，每個任務都會為所有目標表啟動一個 Writer。

我們有自己的支持渠道，可以進行更直接的溝通。 https://datamountaineer.com/contact/