等待文件的脚本在while循环中使用100％CPU

Question

我有一个脚本，它在等待循环中使用100％的单个内核。 该脚本应处理出现在预设目录中的文件。 因此，它等待直到文件显示出来，然后对其进行处理。 大致如下所示：

slept = 0
while True:
    if len(glob.glob(src_diretory+suffix)) > 0:
        slept=0
        # cast black magic spells on files ending in suffix, located in src_directory
    else:
        print("Slept "+str(slept)+" times.."
        slept+=1
        sleep.sleep(1)

在这种情况下，是否经常使用len(glob.glob(src_diretory+suffix))导致如此高的CPU使用率？

Answer 1

解决此类问题的第一个工具是探查器 ，该探查器将告诉您详细的时间在哪里。

您无需测试长度大于零的长度； 如果列表具有条目，则为true；否则为false。 此外，您可能应该使用读入的条目。 但是，这些都是外观上的变化，因此我最好的猜测是，球形本身需要很长时间。 在同一目录中是否可能有很多文件与模式不匹配？

我建议一个稍微不同的结构：

while True:
    filenames = glob.glob(src_diretory+suffix)
    for filename in filenames:
        pass  # Process file here, including moving it away
    if not filenames:
        time.sleep(1)

理想情况下，您应该使用OS端监视器进行更改，例如inotify，kqueue，FSEvents或ReadDirectoryChanges，而不是轮询。 您可能想要尝试执行此特定等待的程序，例如incron和entr。

Answer 2

根据OS（*）的不同，您可以找到一些低级函数，这些函数可以在不进行活动循环的情况下警告程序在目录中创建新文件。 不幸的是，它是不可移植的，并且可能无法直接从Python获得。

如果您要构建一个高性能的系统，则可以看一下，否则，您应该使用一个简单的假脱机算法：

• 只要您在目录中找到文件，就可以进行处理：
• 没有文件后立即进行-在迭代之前先睡一会儿（通常值为0.1到2秒）

（*）至少存在于Windows和最近的Linux内核上

Answer 3

while循环将尝试占用尽可能多的cpu CPU，进行比较：

while True:
    pass

while True:
    time.sleep(0.001)