用于存储大小为 100 MB 到 1 GB 的二进制数据的选项

Question

如果我打算存储大小从 100 MB 到 1 GB 不等的二进制数据，什么是更好的选择 1. 关系数据（我假设这将是直接否） 2. NoSQL DB 3. 文件系统

还建议是否有其他更好的方法（就写入和读取数据的性能而言）

数据性质：这是一个包含 1-50 百万个单元格的表格。 细胞之间没有太多的结构关系。 他们可以被认为是独立的。 该表永远不会更新。 这是一个仅插入表。 上述信息告诉我（尽管由于缺乏对 NoSQL DB 的了解而受到限制）柱状 DB 不会有太大帮助。 请纠正我。

谢谢

Answer 1

tl;博士：文件系统。

由于存储的项目之间没有关系，因此关系数据库将浪费所有可能的资源。

对于任何 NoSQL 数据库也是如此，它比键值存储更高级，例如Graph Databases 。 即使是像Cassandra这样的东西也会是矫枉过正。

所以选择通常是在一些键值存储、object 存储（例如Minio ）或常规 POSIX 文件系统之间进行选择。

所有 3 都具有适用于测试的简单实现和适用于生产的复制等复杂实现。

其中，我建议使用文件系统。

文件系统比键值存储更合适，因为数据很大，而且键值存储通常针对数量和延迟进行优化，而不是针对大小和带宽进行优化。

文件系统也比 object 存储或键值存储更有用，因为大多数文件系统具有相同的 API (POSIX)，这意味着：

1. 切换到另一个文件系统很容易。 有很多很多
2. 对存储在文件系统上的数据进行任何操作的工具。