基于Java磁盘的键值存储

Question

是否有基于文件系统的键值存储的高效Java实现，具有以下功能：

1. 通过唯一ID存储，覆盖和检索字节数组（可以由存储分配）
2. 没有内存缓存（读取意味着从文件系统读取，写入意味着立即写入文件系统）
3. 总数据量可达数TB
4. 存储对象的数量高达数亿
5. 可管理的文件系统对象数（在文件系统级别上移动/复制/删除整个存储）

Will Berkeley DB JE会吗？

Answer 1

只需使用您选择的文件系统格式化专用分区？ 文件系统将满足要求1-4，并且可以通过移动/复制或删除该分区来满足要求5。

Answer 2

我建议使用MapDB ，MapDB提供由磁盘存储或堆外内存支持的并发映射，集和队列。 轻巧而且可以破解。

Answer 3

这可能有效。 看起来像你的情况。 假设，值得一看。

http://xtreemfs.blogspot.com/2008/11/babudb-efficient-key-value-store-for.html

这里还介绍了有关它的详细信息：

http://www.xtreemfs.org/slides/BabuDB-SNAPI.pdf

Answer 4

也许HBase，但是你需要运行整个Hadoop堆栈，这可能是过度的！ http://hbase.apache.org/