Redshift Cluster Resize [磁盘空间不足]

Question

我们目前有一个带有 ds2.xlarge 的 Redshift 集群，我们想将大小调整为 dc2.large，但这样做时遇到了问题。 我们收到一个错误，说磁盘空间不足。

目前，我们有大约 720GB 的数据，我们正在尝试将其调整为具有 5 个节点 (800GB) 的 dc2。

我不知道为什么我们会得到这个？ 你有什么想法？

Answer 1

Hibari - 不建议将 720GB 的数据打包到最大存储为 800GB 的 Redshift 集群中。 这有几个原因：

1. 需要磁盘空间作为暂存空间来执行查询和其他数据操作（真空）
2. 暂存数据存储在磁盘上时不会被压缩
3. 数据加载操作，例如 COPY，需要空间来存储传入的数据
4. Redshift 基于多版本一致性，因此需要保留许多额外的块，以便事务可以访问正确的数据

您在节点类型之间的转换将影响数据在磁盘上的存储方式 - 您正在从具有 16 个切片的 1 个（？）节点移动到具有 10 个切片的 5 个节点。 如果您有分发所有表，这些表将被存储 5 次，而不是一次。 这个新集群上的数据库大小可能不同 - 它可能更小或更大。

我希望真正的限制在于组织新集群上的数据，因为它来自旧集群。 正如我提到的，飞行中的数据是未压缩的，很可能是这个工作集导致了这个问题。

对于这么多数据，您需要一个更大的集群。