Python线程池问题

Question

我在使用python编写网站蜘蛛时遇到了麻烦。 基本思想如下：

我有一个队列，每个线程都从队列中获取一个URL，然后调用函数getAllLinks从该URL获取链接。 伪代码如下：

class Spider(Threading.Thread):
    def __init__(self):
        self.queue = Queue.Queue

    def run(self):
        while True:
            url = self.queue.get()
            getAllLinks(url)  
            time.sleep(0.1)   #I try to release the GIL

但是问题是：即使我在调用getAllLinks之后手动切换线程，该程序也不如单线程程序快。 有没有更好的办法？

我想使用多个线程来提高Spider的处理速度，但是我认为time.sleep()较慢，因为我强制一个线程释放GIL。

我认为这类似于： for url in urlList: spider(url) 。 难道不是仅在getAllLinks()之后切换线程，实质上与仅使用一个线程相同吗？

Answer 1

因此，您的多线程程序并不比单线程版本快得多。

您是对的，因为CPython解释器将每100字节代码释放一次全局解释器锁（GIL）。 不幸的是，GIL使那些没有广泛使用I / O的多线程程序变得无用：

GIL是否会阻止使用纯Python工作的人们真正利用多核？ 简而言之：是的。 尽管线程本身是一种语言构造，但解释器是线程与OS之间映射的关守。 （ 来源 ）。

但是，您说您正在广泛使用I / O。 I / O完成后将释放GIL，这意味着您的程序可以使用多线程查看速度结果。

因此，将代码发布到您的getAllLinks函数中！ 这样一来，我们就可以确定哪些有效，哪些无效。 而且，尽管您可以使用time.sleep(.0001)诱使GIL释放（使用小于0.1数字），但是由于您使用了大量I / O，因此您不需要此技巧。 删除该行。