我们如何使用Python在网络上传输大量数据？
[英]How can we transfer large amounts of data over a network, using Python?
问题描述
我正在处理一项任务，将大约100 Gb的数据（包括目录中的一千个文件和子文件夹）备份（复制）到另一台服务器。 通常，对于较小的规模，我可以使用scp或rsync。 但是，由于其他服务器不在同一LAN网络上，因此完成任务可能需要数小时甚至数天。 我不能把电脑留在那里，终端正在运行。 我认为这不是最好的选择，而且我还有另一个使用Python的理由:)
我有没有图书馆或最佳实践？ 因为，它只适用于内部项目，我们不需要任何花哨的功能，只需要一些基本的东西，如日志记录，容错等。
1 个解决方案
解决方案1
3 已采纳 2012-08-10 04:06:26
我认为你最好的选择是在屏幕内使用scp或rsync。 这样你可以分离屏幕会话和注销，转移将继续。
man screen
对大量数据使用mergesort时发生TypeError（python）
[英]TypeError when using mergesort on large amounts of data (python)
如何通过Java或Python高效地将大量数据写入Cassandra？
[英]How to efficiently write large amounts of data to Cassandra via Java or Python?
如何通过网状网络使用Python套接字加快相机捕获并发送的图像的传输速率
[英]How To Speed Up Transfer Rate of Images Captured By Camera And Sent Using Python Sockets Over Mesh Network
Python：如何通过网络连接传输varrying长度数组
[英]Python: How to transfer varrying length arrays over a network connection
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.