使用 AWS Datapipeline 將 DynamoDB 導出到 S3 數據

Question

我有一個存儲 1Gb 數據的 DynamoDB 表。 RCU 和 WCU 各為 1000。 我設置了一個數據管道來將這 1 GB 的數據導出到 s3。 整個 1GB 的數據在分區中導出到 s3。 我的問題是什么決定了這些分區的數量和大小？

Answer 1

強大的鼠標，

在他最近的視頻“AWS Re:Invent Amazon DynamoDB 高級設計模式 – 第 1 部分”中，Rick Houlihan 演示了在創建表時設置 100k WCU 預置容量，並提到每額外預置 1000 個 WCU 將添加 1 個分區，因此他的表從大約 100 個開始分區。 分區在內部限制為 10gb，如果分區達到此限制，則分成兩個分區，否則它們將保持在一個范圍內。 這表明您的所有數據可能仍僅位於一個分區內。

所有這些似乎都被抽象/隱藏在用戶之外，但通常您應該能夠計算出估計的分區數。

AWS 表示，在按需模式下，它們會自動將您的表的吞吐量提高兩倍於之前的限制。 措辭有點奇怪，但我相信這最終會導致他們為您創建更多分區，因為分區的查詢或寫入速度超出了它的處理速度。

需要注意的是，許多人提到，一旦配置了分區，您可以將 WCU 的數量降低到您實際需要的數量，並且仍然保留配置的分區。