在两台服务器之间同步缓存数据的最佳方法

Question

要在两个服务器之间同步缓存数据。 两个数据库都共享同一个数据库，但是为了获得更好的执行数据，我在启动时已将数据缓存到Hash Map中。 因此希望在不重新启动服务器的情况下同步缓存的数据。 （两个服务器同时启动）。

请给我建议最好，最有效的方法。

Answer 1

与其尝试在两个服务器实例之间同步缓存的数据，不如不使用memcached / couchbase或redis之类的方法来集中缓存？ 与像ehcache这样的东西一起使用分布式缓存要复杂得多，并且与使用提到的缓存服务器集中缓存的数据相比，IMO容易出错。

作为我原始答案的补充，在决定使用哪种缓存方法（在内存中，集中式）时，要考虑的一件事是要缓存的数据的易变性。

如果数据存储在数据库中，但是在服务器加载后没有更改，那么您甚至不需要服务器之间的同步。 只是让他们每个人都将这些静态数据从源中加载到内存中，然后按照自己喜欢的方式做自己想做的事。 数据不会改变，因此无需引入复杂的模式即可使服务器之间的数据保持同步。

如果数据确实存在一定程度的波动性（例如说您正在缓存从数据库中查询的实体数据，以将命中数据保存到数据库中），那么我仍然认为集中式缓存是比内存中分布式和分布式缓存更好的方法。同步缓存。 您只需要确保对缓存的数据使用适当的到期时间，就可以不时地自然刷新数据。 同样，您可能只想在特定实体的更新路径中从集中式存储中删除缓存的数据，然后在下次对该数据的请求时让它从缓存中重新加载。 这比尝试做一个真正的直写式高速缓存（在其中写入基础存储以及高速缓存）的情况下，IMO更好。 数据库本身可能会对数据进行调整（例如，通过默认未提供的值），在这种情况下，您缓存的数据可能与数据库中的数据不匹配。

编辑 ：

评论中提出了一个有关集中式缓存的优点的问题（我猜想是类似内存中分布式缓存的问题）。 我将对此发表意见，但首先是一个标准的免责声明。 集中式缓存并不是万能的。 它旨在解决与in-jvm-memory缓存有关的特定问题。 在评估是否要切换到它之前，您应该首先了解问题所在，并查看它们是否适合使用集中式缓存。 集中式缓存是一种体系结构上的变化，它可能会带来一些问题。 不要简单地切换它，因为有人说它比您做的更好。 确保原因适合问题。

好的，现在我就集中式缓存与jvm内存（以及可能是分布式）缓存之间可以解决的问题类型达成共识。 我将列出两件事，尽管我确定还有更多。 我的两个主要方面是： 总体内存占用量和数据同步问题 。

让我们从总体内存足迹开始。 假设您正在执行标准实体缓存，以保护关系数据库免受不必要的压力。 我们还要说，为了真正保护数据库，您有很多数据需要缓存。 说在许多GB的范围内。 如果您正在进行jvm内存中的缓存，并且您说有10个应用服务器盒，那么您将需要获得额外的内存（$$$）乘以每个需要在jvm中进行缓存的盒的10。记忆。 此外，您还必须为JVM分配更大的堆，以容纳缓存的数据。 我认为JVM堆应该小而精简，以减轻垃圾回收负担。 如果您有一大堆无法收集的旧一代，那么当您将垃圾收集器放入完整的GC并尝试从那肿的旧一代空间中获得收益时，您会给您的垃圾收集器施加压力。 您想避免长时间的GC2暂停时间，而让您的老一代人肿将无济于事。 另外，如果您的内存需求超过某个阈值，并且您恰巧在您的应用程序层上运行32位计算机，则必须升级到64位计算机，这可能是另一笔高昂的费用。

现在，如果您决定集中缓存的数据（使用Redis或Memcached之类的东西），则可以显着减少缓存数据的整体内存占用，因为您可以将其放在几个盒子上，而不是放在其中的所有应用程序服务器盒子上。应用程序层。 您可能希望使用集群方法（两种技术均支持集群方法）和至少两台服务器来提供高可用性，并避免缓存层出现单点故障（几秒钟内即可解决）。 通过拥有两台机器来支持缓存所需的内存需求，您可以节省一些资金。 此外，由于应用程序框和缓存框具有不同的用途，因此您现在可以对其进行不同的调整。 可以为高吞吐量和低堆调整应用程序框，为大内存调整缓存框。 而且，使用较小的堆肯定会有助于提高应用程序层盒的整体吞吐量。

现在，一般来说，集中式缓存是一个快速点。 您应该以这样一种方式设置您的应用程序，使其可以在没有缓存的情况下继续存在，以防它在一段时间内完全崩溃。 在传统的实体缓存中，这意味着当缓存完全不可用时，您将直接针对每个请求访问数据库。 不很棒，但也不是世界末日。

好的，现在是关于数据同步问题 。 使用分布式jvm内存缓存时，您需要使缓存保持同步。 一个节点中缓存数据的更改需要复制到其他节点，并同步到其缓存数据中。 这种方法有点吓人，因为如果由于某种原因（例如网络故障），其中一个节点不同步，那么当请求发送到该节点时，用户看到的数据将与当前节点中的数据不准确。 D B。 更糟糕的是，如果他们发出另一个请求并到达另一个节点，他们将看到不同的数据，这会使用户感到困惑。 通过集中数据，可以消除此问题。 现在，有人可能会争辩说，集中式缓存需要围绕更新同一缓存数据密钥进行并发控制。 如果两个同一个密钥同时进行了更新，那么如何确保两个更新不会互相mp脚？ 我的想法是，甚至不用担心这个问题。 当发生更新时，从高速缓存中删除该项目（并直接写入数据库），并在下次读取时将其重新加载。 这样更安全，更轻松。 如果您不想这样做，那么如果您确实想在更新时同时更新缓存和数据库，则可以使用CAS（检查并设置）功能进行乐观并发控制。

综上所述，如果您集中应用程序层计算机缓存的数据，则可以节省金钱并更好地对其进行调整。 您还可以减少数据同步问题，从而获得更好的数据准确性。 我希望这有帮助。

Answer 2

首先，不要忘记过早的优化。 您真的需要缓存吗？ 99％的人不需要它。 在这种情况下，您的解决方案是删除冗余代码。

但是，如果需要，请尝试停止重新发明轮子。 有完善的即用型库。 例如，具有分布式模式的ehCache 。

Answer 3

使用HazelCast 。 它允许使用多播协议在服务器之间进行数据同步。 易于使用。 它支持锁定和其他功能。