完成一项非常大且重复的任务的最佳方法是什么？

Question

我需要获取 18000+ 个音频的时长，使用audioread库对每个音频大约需要 300 毫秒，即至少需要 25~30 分钟的处理时间。

使用Queue和Process系统，使用我处理器的所有可用内核，我可以将每个音频的平均处理时间降低到 70 毫秒，但仍然需要 21 分钟，我该如何改进呢？ 我希望能够在至少 5 分钟内阅读所有音频，记住我在机器上没有竞争，它只会运行我的软件，所以我可以消耗所有资源。

功能代码读取持续时间：

def get_duration(q, au):
    while not q.empty():
        index = q.get()
        with audioread.audio_open(au[index]['absolute_path']) as f:
            au[index]['duration'] = f.duration * 1000

创建流程的代码：

for i in range(os.cpu_count()):
    pr = Process(target=get_duration, args=(queue, audios, ))
    pr.daemon = True
    pr.start()

在我的代码中只有一个Queue和一些Process ，我使用Manager来编辑对象。

Answer 1

我会考虑使用兼容的解决方案来加速您的脚本。 Python 的线程仍然有改进的余地。

尝试编译语言。

如果您仍然想要 python，请将尽可能多的函数分离到您的系统支持的不同线程。 使用threading.thread 。

另请参阅 此 wiki ，了解有关 python 中高效循环的信息。 故事的要点是 for 循环会产生开销。