以编程方式从 SFTP 服务器下载千兆字节文件的有效方法

Question

我在 SFTP 服务器上有几个 30GB 的文件。 我想以编程方式下载它们。 目前我正在使用sftp get 命令下载它们，但下载每个文件的时间约为 3.5 小时。 有没有办法快速下载这些文件？

Answer 1

很可能，这里的限制因素是您的网络速度。 sftp和 SSH 通常会使用尽可能多的带宽，除非您以某种方式限制它们。

您获得的速度约为 2.38 MB/s，这是通过家庭网络连接的合理下载速度，但在 LAN 上会慢得不合理。 不过，你还没有说你正在使用哪个。

如果（a）您使用的是 AES 算法并且一侧不支持硬件中的 AES，或者（b）您在 10 Gb 网络上，则理论上可能加密太慢。 但是，我非常怀疑这里的情况，因为现代 OpenSSH 版本中的所有算法都可以最大化 1 Gib 连接。

如果您在 LAN 上，我会调查网络的速度和配置，或者如果一侧是设备或嵌入式设备，我会调查 SFTP 服务器或磁盘的速度。