confluent-3.2.0 S3連接器默認分區設置

Question

我已經能夠成功地將主題日期流寫入s3存儲桶，但是，數據是按數字分區的（partition = 0）。

當前顯示：（Amazon S3>存儲桶名稱>主題>測試>分區= 0

是否可以按Date（yyyy-mm-dd）划分數據？ 如果是這樣，將覆蓋默認分區設置的配置在哪里。

謝謝您的幫助，Warsame

Answer 1

如文檔中所述，連接器具有可插拔的分區程序和內置的TimeBasedPartitioner ，可以根據攝取時間對數據進行分區。 各種分區程序配置參數使您可以控制目錄結構之類的東西。 甚至還有一個DailyPartitioner ，它是TimeBasedPartitioner的特長 ，其生成的路徑結構類似於/year=2017/month=12/day=07 。

如果這些都不起作用，那么您總是可以選擇實現自定義Partitioner類或對TimeBasedPartitioner類（或其任何子類）進行專門化（如果更容易的話）。