服务器集群的缓存方法

Question

我在JBoss AS 5.1集群上部署了Java应用程序，该程序需要缓存大量（> 3 GB）的数据。 现在，服务器集群只有2个节点（独立的计算机）。 以下是具体要求：

两个节点都不应要求将数据加载到缓存中（即，应该存在复制或缓存应位于单独的服务器上）

数据永不过期。

以上两个要求对于应用程序来说都非常重要。 如果能考虑到这两个建议，我将不胜感激。 我还应该添加第三个要求：

使用方便

该应用程序最初使用Hashmap。 我尝试使用JBoss Cache 3.2.1替换哈希图，以实现其复制和线程安全功能。 但是我对JBoss Cache的性能不是很满意。 另外，当我将数据加载到缓存中时，几乎完全使用了8 Gig的RAM（其中的大部分由缓存条目使用）。

我想听听那些自己处理过这种缓存方案的人的经验。 谢谢您的时间。

Answer 1

您可以尝试使用GigaSpaces XAP datagrid是复制的缓存。 它是非常高性能的。

http://www.gigaspaces.com/datagrid

Answer 2

如果您想要一个提供Java HashMap接口并且可以轻松支持千兆字节的缓存数据且没有过期的缓存，那么请查看Oracle Coherence。 这将使用Coherence的“分布式缓存”选项（这是默认配置）。 有关更多信息，请参见： http : //coherence.oracle.com/

• 有弹性。 只需添加节点。 自动发现。 自动负载平衡。 没有数据丢失。 不间断。 每次添加节点时，您将获得更多的数据容量和更大的吞吐量。
• 同时使用RAM和闪存。 透明地。 每个Coherence节点轻松处理10甚至100 GB的千兆字节（例如，每个物理服务器最多TB或更多）。
• 自动高可用性（HA）。 杀死一个进程，没有数据丢失。 杀死服务器，没有数据丢失。
• 数据中心连续可用性（CA）。 杀死数据中心，没有数据丢失。

为了全面披露，我在Oracle工作。 这篇文章中表达的观点和观点是我自己的，不一定反映我雇主的观点或观点。

Answer 3

我之前已经“解决”了这个问题（工作代码，无法告诉您）...但是，我可以这么告诉您：

• 如果卷很大，则HashMaps的开销中会使用大量内存。
• 您可以通过使用数组的智能用法替换java.util。*类来节省大量内存。
• 每次分配内存时，还必须扫描/收集GC中的内存，因此节省内存也可以提高性能。

尽可能使用数组。

编辑：显然，哈希表的概念已被忘记。...HashMap的Java实现是否使人们相信这是唯一的方法？ 具有散列函数和二进制排序的结构化数组集。...所有基本结构... http://en.wikipedia.org/wiki/Hash_table

一个要添加键的数组。 一个用于存储值的并行数组，以及一个基于int的哈希表，用于快速查找键数组...

计算机科学-也许第二年;-)

再次编辑：我曾经在JDOM项目中描述过核心概念： https : //github.com/hunterhacker/jdom/blob/master/core/src/java/org/jdom2/StringBin.java