从站点下载所有图像

Question

下午好，有没有办法使用 python 从站点下载所有图像？ 我搜索了很多并没有找到任何方法，我找到了下载单个图像但没有几个或全部的方法

Answer 1

第一个问题：到目前为止，您尝试了什么？

存在大量下载图像的方法：例如使用 selenium 废弃站点，保存所有链接，然后发送所有链接的发送请求以下载图像。

你需要做的事情：

1 - 使用 selenium 或 axios/request 或任何可以获取页面内部链接的 python 库来废弃网站 (html)

2 - 将所有图像链接保存在数组/列表/文件中

3 - 发送每个链接的请求（您可以使用 curl/wget/request）并保存在目录中

这样做的影响：

1 - 根据您下载图像的服务器，它可能会阻止您的 IP 因为它会将您的请求视为垃圾邮件/机器人

2 - 根据图像大小，您的磁盘将很快满

如果您决定这样做，如何解决第 1 项：

1.a - 在脚本中更改您的 IP（这将需要网络知识）

1.b - 在脚本中放置一些计时器/等待以不同时发送所有请求

Answer 2

我会考虑将 web 抓取工具 BeautifulSoup 与 request 和 urllib 等其他库一起使用。 取决于您想以多快的速度抓取和下载图像，其他 web 抓取工具可用，例如 Selenium 和 Scrapy。 您需要在代码中设置一个循环来查找源代码中的所有图像文件（如果是 png 或 jpg 或其他）。 我希望这对您有所帮助并为您提供一个开始。