使用Python发送1000个2MB文件的最快方法是什么？

Question

我们无法通过网络以最有效的方式发送大约1000（甚至更多）2MB的数据块。 我们要避免使用纯套接字（如果不可能的话，我们将使用它们）。 目前，我们已经测试：

1. 列出项目Rabbitmq客户端->服务器：本地主机上大约39秒/ GB（非常慢）
2. 请求客户端-> Flask服务器：本地主机上仍然大约40sec / GB
3. 在每个龙卷风上创建烧瓶，为每个IO写入操作创建线程，并且仍然提供40秒/ GB的SSD闪存
4. 原始龙卷风仍为40秒/ GB

我们的想法已经用完了。 对我们来说最好的解决方案是使用轻量级解决方案，例如http。

Answer 1

开始时是否所有文件都可用。 我会先将它们压缩到一个文件中。 它与压缩无关，而与文件数量有关。 每个文件都有某些IO操作（打开/关闭和网络启动/结束），您可以很容易地避免这些操作100次。 压缩也会有所帮助。

现在使用套接字或HTTP，如果您只有一个文件（或从技术上说是一个流），那将无关紧要。