其中 NoSQL 数据库适用于海量数据

Question

我正在查看 NoSQL 以获取大量数据。 我们目前将 web 页面文本的缓存版本存储在 MySQL 中，但似乎数据库将很快变得庞大。

我的要求是：

• 持久性，不能在刷新/写入时丢失数据
• 非常快的读取，相当快的写入
• 完全一致的复制
• 最好是在内存中加上最终的磁盘写入

我正在查看：MongoDB、Redis、Raik 和 Cassandra。

哪个最符合我的要求？

Answer 1

将缓存版本存储在 MemCache 中，而不是 MySQL。 它将消除大多数写入。 写入 MySQL 是不好的，因为它会杀死查询缓存。 当您在 MemCache 中缓存页面时，您对数据库的写入将大大减少，您的读取压力也将减少。 您可以缓存复杂查询的结果，也可以根据需要缓存整个页面。

也许它不会像 Cassandra 那样快，但与您目前只有 MySQL 的情况相比，它会给您带来巨大的提升。 而且您不必重写整个应用程序。

Answer 2

我有使用 Redis 和 MongoDB 的经验，但对于您的用例都不推荐。 Redis 在各个方面都很棒，但是由于它只有 RAM 并且没有集群功能（但它们正在开发中），它的扩展性不是很好。 MongoDB 除了一个小的副本集之外，我不会再将其用于任何需要任何东西的东西。

基本上，MongoDB 是不成熟的，完全不适合任何类型的大容量、高性能要求。 它具有在磁盘刷新期间保持的全局写锁，这意味着性能可能会根据您的操作而有很大差异。 在实践中，它使增长文档的更新变得不可能，并且您也需要非常小心地删除。 说到删除，它们会对数据库造成严重的碎片化，因此如果您执行大量删除操作，您的性能将会受到影响。

1.8.0 到 1.8.1 中的分片是一场灾难。 有完整的显示停止错误不应该使其成为稳定版本。 配置没有正确刷新，并且很容易将您的数据库放入错误的 state 中，因此块永远不会从主分片中移出。 1.8.2 解决了大部分问题，看起来更稳定，但我一点也不相信分片实现。 除此之外，即使一切正常，分片也很困难，select 一个自然的分片键并不总是那么容易，如果你不分片，你会很痛苦。

MongoDB 非常易于使用，并且功能集非常好。 文档、驱动程序和社区都很棒。 MongoDB 非常适合作为 MySQL 的替代品，但不要将它用于需要横向扩展的任何事物。

我们目前正在考虑迁移到 Cassandra。 我发现发电机 model（例如，没有主节点；在任何地方读写；只需添加节点来扩展集群）引人注目，并且这些功能或多或少适合我们。 数据 model 与 MongoDB 一样，是模式较少的数据，尽管有一些限制（基本上，您可以在一级或二级哈希之间选择）。 我敢肯定，一旦您进入社区，社区就会很好，但到目前为止，我发现很难找到有关如何解决常见问题的好信息，并且缺乏文档。 你在博客上找到的大部分信息都是一年前的事情，从那以后发生了很多事情（0.7 和 0.8 似乎都是非常重要的更新，但你发现的大多数事情都是 0.6 左右）。 从我目前看到的情况来看，驱动程序也不是很成熟或没有很好的文档记录，每个人似乎都在争论应该使用 Thrift、Avro 还是 CQL（从 0.6 到 0.7 到 0.8） .

Riak 很有趣，原因与 Cassandra 相同，但对我们来说，纯键值存储是不够的，我们需要能够在不先读取的情况下进行更新。 对于 Riak，这是不可能的，因为这些值只是 blob。 不过，这听起来对您来说不是问题。

HBase 是另一个竞争者。 由于有许多不同的部分，ZooKeeper、HDFS 等，设置和运行似乎很痛苦。但是数据 model 类似于 Cassandra（对于我们来说，它可能是柱状图，但可能不是哈希值）对你很重要。 这似乎是经过验证的，但与 MongoDB 一样，您必须注意分片问题，您必须对密钥进行一些考虑，否则您会遇到麻烦。

还有 CouchDB、Project Voldemort 和无数其他可能的选择。 我认为，如果您认真对待“超大量数据”，那么它介于 Cassandra、Riak 和 HBase 之间。 如果纯键值存储还不够，请使用 Riak。 根据您所说的“完全一致的复制”的含义，Cassandra 和 Riak 已经出局，因为有可能（不一定很大，并且可以调整）读取过时的值。

最后，您显然必须在您的特定用例上进行尝试，所以您真正应该从这个答案中带回家的是：不要打扰 MongoDB。

Answer 3

• memcachedb - memcached 协议、BDB 存储、复制等
• Handlersocket - MySql InnoDB 插件。
• Oracle memcached InnoDB 插件

Answer 4

对于海量数据，很明显 Cassandra 和 hadoop/hbase 在这项任务中远优于其他所有数据。 Cassandra 在 400 个节点等大型集群上证明了自己。 rdms dbs 无法轻松扩展，当节点数开始增加时，mongo 也会出现一些问题http://www.nosqlbenchmarking.com/2011/05/paper-on-elasticity-and-scalability-for-acm-socc-2011/

塞尔达

Answer 5

RavenDB每个节点最多可以存储 16TB 的数据，并且您可以使用其内置的分片支持让每台机器有多个节点充当一个数据库。 这是最大的。

持久性、快速性、复制都在那里，并且还支持在 memory 中运行（但如果您想扩展到每个节点 16TB，则不建议这样做）。