简单的版本控制系统或版本控制文件系统或版本控制数据库

Question

我正在寻找用于大量记录或文件的简单版本控制系统（约5000万，未压缩的约100GB，已压缩的约20MB）。 这些文件每个只有几千字节，并且具有唯一的ID，所以我不在乎它们是否存储在平面结构（表，目录...）中。 平均而言，每条记录每月更改一次，但是大多数更改的差异小于千字节，因此应该易于压缩版本。 但是，对于每个版本只有一个条目的朴素数据库将增长得太快。 我需要进行以下操作：

• 基本的CRUD操作：创建，读取，更新，删除
• 快速列出最近的变化
• 快速列出特定记录的最新更改
• 查询给定时间内的变化
• 查询给定用户的更改（每个编辑都与某个用户ID关联，并且可以选择将提交消息作为注释）
• 对于写操作，必须有一个提交钩子来验证和拒绝格式错误的记录。

简而言之，我正在寻找用于简单记录或文件的类似Wiki的软件。

我考虑了可能的解决方案：

• 将文件放在版本控制系统中 。 这为我提供了复制和许多可用的访问工具，因此这是我的首选解决方案。 但是对于像git这样的分布式系统来说，数据量太大。 是否有人使用Subversion成功完成类似任务？

• 在数据库或文件系统中实现我自己的版本控制 。 我可能只需要存储压缩的记录和差异，就可以进行更多的工作并学到一些东西。 如果只是为了娱乐，这将是我的首选解决方案。

• 使用版本控制文件系统 。 这将使设置，复制和访问更加困难。 可能我需要在文件系统上方实现自己的访问API。

• 使用版本控制数据库系统 。 你能建议一些吗？

• 使用其他现有数据存储进行版本控制（MediaWiki？，Amazon Cloud Drive？，...）

显然有很多路径。 其他人成功使用了哪些路径来获取相似或更大数量的数据？

Answer 1

如果您不反对在客户端上保存每个文件的原始副本（如果您考虑使用svn，我想这是可以的），那么git可能是解决您问题的一个很好的解决方案。 基础存储库存储将使用文件之间以及版本之间的二进制差异，因此您应该在那里获得最佳压缩。

有了裸仓库和一些脚本，您甚至可以不用注销当前修订版就可以摆脱困境：可以从命令行使用对象，并且可以在不签出的情况下创建新的提交。