Python，图像压缩和多处理

Question

我试图用Python来处理MultiProcessing，但是我做不到。 请注意，在一切编程中，我曾经是，现在可能永远是菜鸟。 啊，反正。 来了

我正在编写一个Python脚本，使用来自用户的预定义变量将存储在ini文件中的图像压缩到使用ImageMagick下载到文件夹的图像。 该脚本在下载目录中搜索与模式匹配的文件夹，检查它们是否包含JPG，PNG或其他图像文件，如果是，则重新压缩并重命名它们，并将结果存储在“压缩”文件夹中。

现在，事情来了：如果我能够“并行化”整个压缩过程，我会很喜欢的，但是...我不明白我该怎么做。

我不想对现有代码感到厌倦，因为它很烂。 这只是一个简单的“目录中的文件”循环。 那就是我想要并行化的东西-有人可以举一个例子说明如何对目录中的文件使用多处理吗？

我的意思是，让我们看一下这段简单的代码：

对于matching_directory中的f：打印（“我要处理文件：”，f）

对于那些必须偷看代码的人，这是我想整个并行化位都将保留的部分：

for f in ImageFolders:
    print (splitter)
    print (f)
    print (splitter)
    PureName = CleanName(f)
    print (PureName)
    for root, dirs, files in os.walk(f):
        padding = int(round( math.log( len(files), 10))) + 1
        padding = max(minpadding, padding)
        filecounter = 0
        for filename in files:
            if filename.endswith(('.jpg', '.jpeg', '.gif', '.png')):
                filecounter += 1
                imagefile, ext = os.path.splitext(filename)
                newfilename = "%s_%s%s" % (PureName, (str(filecounter).rjust(padding,'0')), '.jpg')
                startfilename = os.path.join (f, filename)
                finalfilename = os.path.join(Dir_Images_To_Publish, PureName, newfilename)
                print (filecounter, ':', startfilename, ' >>> ', finalfilename)
                Original_Image_FileList.append(startfilename)
                Processed_Image_FileList.append(finalfilename)

...在这里，我希望能够添加一段代码，其中工作人员从Original_Image_FileList中获取第一个文件，然后将其压缩为Processed_Image_FileList中的第一个文件名，第二个之后再获取一个文件，等等。最多可以有特定数量的工作程序-取决于ini文件中的用户设置。

有任何想法吗？

Answer 1

您可以使用Pool类创建一个工作池，您可以将图像压缩分发到该工作Pool 。 请参阅multiprocessing文档的“ 使用工作人员池”部分。

例如，如果您的压缩函数称为compress(filename) ，则可以使用Pool.map方法将此函数应用于返回文件名的可迭代对象，即您的列表matching_directory ：

from multiprocessing import Pool

def compress_image(image):
  """Define how you'd like to compress `image`..."""
  pass

def distribute_compression(images, pool_size = 4):
  with Pool(processes=pool_size) as pool:
    pool.map(compress_image, images)

有许多类似地图的方法可用，请参阅地图以了解入门。 您可能想试验一下池的大小，以了解最有效的方法。