基於Kinesis Client庫（K​​CL）的應用程序中的負載平衡和擴展

Question

我正在使用amazon-kinesis-connectors來構建kinesis客戶端應用程序。 我正在弄清楚它的一些事情。

KCL如何確保負載平衡和擴展。 例如，我有一個帶有一個碎片的流，並且在一整天或特定時間內放置了大量記錄/事件15分鍾。 那么如何處理這種突然的流量和負載。

Answer 1

對於負載平衡，您需要多個分片。 Kinesis嘗試平衡每個工作人員所使用的分片數量 - 如果您只有一個分片，則不會從多個工作人員那里獲得任何好處。 有關Kinesis負載均衡如何工作的更多信息，請參閱我的相關答案 。

至於縮放 - 每個碎片都限制了它可以采取的最大流量 - 來自kinesis限制文檔 ：

每個分片每秒最多可支持1,000條記錄進行寫入，最高總數據寫入速率為每秒1 MB

使用kinesis擴展的方式是添加更多分片 - 更多分片==更多吞吐量。 您可以預先創建這些分片，也可以在流量增加時添加它們。