Python-从线程池调用Linux命令不起作用

Question

- 嗨，大家好， -

我要排序的文件约为4000（1-50MB）。

我当时想让Python调用Linux sort命令。 而且由于我认为这可能受到I / O的限制，所以我将使用线程库。

所以这就是我所拥有的，但是当我运行它并看着系统监视器时，我看不到弹出的25个排序任务。 好像一次运行一次？ 我究竟做错了什么？

...
print "starting sort"
def sort_unique(file_path):
    """Run linux sort -ug on a file"""
    out = commands.getoutput('sort -ug -o "%s" "%s"' % (file_path, file_path))
    assert not out

pool = ThreadPool(25)
for fn in os.listdir(target_dir):
    fp = os.path.join(target_dir,fn)
    pool.add_task(sort_unique, fp)

pool.wait_completion()

这是ThreadPool的来源 ，也许那是坏的？

Answer 1

您所做的一切都正确。

在python中有一些叫做GIL的东西。
全局解释器锁定-最终导致python一次只执行一个线程。

选择子进程:)，python不是多线程的。

Answer 2

实际上，这似乎确实可行。 我说得太早了。 我不确定你们是否要删除此内容或什么？ 对于那个很抱歉。

Answer 3

通常，人们通过产生多个进程来做到这一点。 multiprocessing模块使此操作变得容易。

另一方面，Python非常擅长排序，因此为什么不将文件读入字符串file.readlines()列表，然后在Python中对其进行排序。 您必须编写一个与list.sort()一起使用的key函数来执行-g选项，并且还必须删除重复项，即-u选项。 删除重复项的最简单方法（也是一种快速方法）是在进行排序之前先执行list(set(UNsortedfile)) 。