用於批量操作的 Kafka Elasticsearch 連接器

Question

我正在使用 Elasticsearch 接收器連接器對單個記錄進行操作（索引、更新、刪除）。

Elasticsearch 還有一個 /_bulk 端點，可用於一次創建、更新、索引或刪除多條記錄。 文檔在這里。

Elasticsearch 接收器連接器是否支持這些類型的批量操作？ 如果是這樣，我需要什么配置，或者我可以查看任何示例代碼？

Answer 1

Elasticsearch 接收器連接器在內部創建一個批量處理器，用於批量發送記錄。 要控制此處理器，您需要配置以下屬性：

• batch.size ：寫入 Elasticsearch 時作為批處理的記錄數。
• max.in.flight.requests ：在阻止進一步請求之前，可以對 Elasticsearch 進行的索引請求的最大數量。
• max.buffered.records ：每個任務在阻止接受更多記錄之前將緩沖的最大記錄數。 此配置可用於限制每個任務的 memory 使用。
• linger.ms ：根據batch.size配置，在請求傳輸之間到達的記錄被批處理到單個批量索引請求中。 通常，這僅在記錄到達速度快於發送速度時才會在負載下發生。 然而，即使在輕負載下也可能需要減少請求的數量並從批量索引中受益。 此設置有助於實現這一點 - 當待處理的批次未滿時，任務將等待給定的延遲時間，以允許添加其他記錄，以便可以將它們批處理到單個請求中，而不是立即將其發送出去。
• flush.timeout.ms ：用於定期刷新的超時時間（以毫秒為單位），以及在添加記錄時等待已完成請求提供緩沖區空間時的超時時間。 如果超過此超時，任務將失敗。