如何在scrapy图像下载中处理图像文件名重复

Question

Scrapy使用sha1生成随机图像文件名。 发生复制时，它将覆盖文件，从而导致现有映像文件丢失。 是否可以编写额外的代码（例如：覆盖类）来处理重复。 例如：继续生成新的随机文件名，直到找不到重复文件？ 如果是，请提供代码示例？

---旧问题：是否检查以确保images_store文件夹下所有图像文件的文件名唯一？ Scrapy在下载图像时使用sha1生成随机文件名。 Sha1提供了很好的唯一性，但是很可能会出现重复。

Answer 1

不确定这是否是最好的解决方案，但是如果您基于ImagesPipeline管道创建自定义管道并像这样覆盖image_key方法，该怎么办 （尽管尚未进行测试）：

import hashlib
import os
import random
import string
from scrapy.contrib.pipeline.images import ImagesPipeline


class CustomImagesPipeline(ImagesPipeline):
    def image_key(self, url):
        image_guid = hashlib.sha1(url).hexdigest()

        # check if image already exists and add some random char to the file name
        path_format = 'full/%s.jpg'
        while True:
            path = path_format % image_guid
            if os.path.exists(path):
                image_guid = image_guid + random.choice(string.letters)
            else:
                break

        return path

这只是一个示例-您可能需要改进文件名更改逻辑。 此外，您应该对thumb_key方法执行相同的操作 。

希望能有所帮助。

Answer 2

你不用管它！

Scrapy使用图像URL sha1。 为了有50％的概率找到SHA1碰撞，您需要大约2 ^ 80项。 因此，除非您要抓取2 ^ 80张图像，否则图像文件名重复的机会将小于50％。 实际上，由于机会微不足道，因此您可以抓取超过1万亿张图像，并且可以简单地忽略文件名重复。