通过高延迟网络连接同步许多（小）文件的方法

Question

我们通常使用Subversion（客户端上的svn更新；单向）将软件应用程序部署到客户端。 由于存在高延迟（大文件下载速度很好），我们目前在其中一位客户中遇到问题，因为它们在中国，而我们的服务器在加拿大。 很长一段时间后，Subversion就会因错误而超时。

我们的应用程序包含许多小文件（.aspx，.config等）和一些大文件（.dll，.jpg），总计约100mb-200mb。

我目前正在考虑执行以下操作：

1. 在服务器上执行本地svn检出
2. 压缩结果
3. 通过FTP或rsync将大型zip文件同步到外部计算机
4. 将文件解压缩到一个临时文件夹中。
5. 从该temp文件夹到我们的典型安装文件夹执行本地rsync。

有更好的解决方案吗？

• 在离目的地更近的地方安装Subversion镜像？ （我每个月只需要几个小时，但可能很难找到）
• 使用其他版本控制系统？ （对于高延迟连接，git更好吗？）？
• 有没有办法打包颠覆补丁（包括二进制文件）以在目的地重新应用，而不是发送所有数据？
• 使用DropBox（使用Amazon S3）将文件传输到临时文件夹会更好吗？

Answer 1

在您尝试一下rsync之前，不要敲它整个小文件树。 它不会为每个文件进行往返，而是通过管道传输，因此它应该与整个数据集上的其他文件一样快。 （TCP可以尽快将帧重新组合成高延迟链接上的有序数据包。）

查看rsync的工作原理 ，以了解如何避免往返。

Answer 2

您可以创建所有文件中所有更改的unix样式补丁。 并将其传输到一个zip文件中。

Answer 3

您可以使用git （也许使用git-svn）来处理传输。 它以惊人的效率移动文件版本中的差异。

否则，您可以使用xdiff二进制diff工具。