繁体 English 中英

大量下载大量文件

[英]Download huge number of files in chunks

原文 2014-09-04 17:53:43 5 1 python/ firefox/ selenium/ selenium-webdriver/ download

我正在尝试通过提供输入列表来在Firefox中使用Python Selenium下载一堆（数千个）文件。 我下载成功。

由于我要下载成千上万个文件，所以我想知道您是否可以建议一种方法来开始下载10个文件，等到它们完成后再开始下一个10。我该怎么做？

下载完成后fp.set_preference("browser.download.manager.closeWhenDone", True)我尝试使用fp.set_preference("browser.download.manager.closeWhenDone", True)关闭浏览器。 但这并没有关闭。

1 个解决方案

您可以使用rq ， Celery或任何其他库来简化任务的产生和使用。

通过使用这些库，您可以开始下载前10个文件。 完成这些文件后，下一个文件将立即自动开始下载。

从Python大量列表中下载文件

[英]Download files from huge list in Python

Python：根据行数创建文件块

[英]Python: Creating chunks of files based on number of rows

用于处理大量 excel 文件的脚本

[英]Script for processing huge number of excel files

在Python中读取大量json文件？

[英]Reading huge number of json files in Python?

如何通过 csv 文件中的块在巨大的 tar.gz 中获取 pandas dataframe 而不解压缩和迭代它们？

[英]How to get pandas dataframe by chunks from csv files in huge tar.gz without unzipping and iterating over them?

Pandas - 将一个巨大的数据帧分解成更小的块

[英]Pandas - Breaking a huge Dataframe into smaller chunks

大熊猫中的块总数

[英]Total number of chunks in pandas

[英]Count number of chunks

在 python 中分块下载文件？

[英]Downloading files in chunks in python?

我想将一个巨大的文件拆分为许多文件，并在所有拆分文件中添加标头。使用python

[英]I would like to split a huge file into many number of files with the header in all split files. Using python

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 从Python大量列表中下载文件 Python：根据行数创建文件块用于处理大量 excel 文件的脚本在Python中读取大量json文件？如何通过 csv 文件中的块在巨大的 tar.gz 中获取 pandas dataframe 而不解压缩和迭代它们？ Pandas - 将一个巨大的数据帧分解成更小的块大熊猫中的块总数计算块数在 python 中分块下载文件？我想将一个巨大的文件拆分为许多文件，并在所有拆分文件中添加标头。使用python

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM