在Azure存储中存储大量文件

Question

我正在构建一个应用程序，需要存储大量（250,000）的小（2MB - 10MB）文件。 我想使用Azure存储，因为其余的相关系统都在Azure上。 每个文件都有一个唯一的名称（可能是GUID）。 我有点不确定的是BLOB如何与文件对应。 因为我知道每个文件都将被唯一命名，我是否可以将每个blob存储一个文件放在一个容器中？

仍然关注Azure存储概念，如果烦人的天真，请道歉。

Answer 1

您绝对可以将所有文件存储在单个容器中。 除了存储帐户限制为 100TB 500TB之外，容器中的blob数量没有限制。

每个blob都有自己的存储分区，这意味着您的文件将以可扩展的方式存储在可能的许多服务器上。

将所有内容存储在一个容器中的唯一缺点是在一个目录中列出文件名是困难和缓慢的。 而且，像日期这样的东西清除很难。 如果您需要清除blob，请考虑考虑存储策略，您可以一次清除容器。

HTH

Answer 2

我创建了一个类似的blob存储库（2.6MM文件/ 3.9TB），所以我认为我的经验可能是你的好代理。 但是，我应该说，至少有一半的文件是1K或更少，所以我的发现不会完全匹配。

无论如何，我和你有同样的问题：容器/文件夹组织会影响检索速度吗？ 然而，我的测试显示，无论我如何组织文件，检索速度几乎都是相同的。

对于您的情况，我只是使用没有底层“文件夹”结构的单个容器，特别是因为您将使用GUID作为文件名。 你永远不会想要列出所有250K文件（除非你想做一个完整的“目录”扫描），所以一个扁平的组织方案似乎是最好的。

选择备用方案（具有多个容器和/或文件夹）的唯一原因是，如果您想要定期滚动文件的子集（即，在一定天数之后）。