使用队列在python中进行线程化

Question

我想在python中使用线程来下载很多网页，并通过以下代码在网站之一中使用队列。

它放了一个无限的循环。 每个线程是否连续运行，结束直到所有线程完成？ 我错过了什么。

#!/usr/bin/env python
import Queue
import threading
import urllib2
import time

hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com",
"http://ibm.com", "http://apple.com"]

queue = Queue.Queue()

class ThreadUrl(threading.Thread):
  """Threaded Url Grab"""
  def __init__(self, queue):
    threading.Thread.__init__(self)
    self.queue = queue

  def run(self):
    while True:
      #grabs host from queue
      host = self.queue.get()

      #grabs urls of hosts and prints first 1024 bytes of page
      url = urllib2.urlopen(host)
      print url.read(1024)

      #signals to queue job is done
      self.queue.task_done()

start = time.time()
def main():

  #spawn a pool of threads, and pass them queue instance 
  for i in range(5):
    t = ThreadUrl(queue)
    t.setDaemon(True)
    t.start()

  #populate queue with data   
  for host in hosts:
    queue.put(host)

  #wait on the queue until everything has been processed     
  queue.join()

main()
print "Elapsed Time: %s" % (time.time() - start)

Answer 1

将线程设置为daemon线程会导致它们在main完成时退出。 但是，是的，你是正确的，因为你的线程会持续运行，只要queue东西它会阻塞。

该文档解释了这个详细的队列文档

python Threading文档也解释了daemon部分。

当没有剩下活着的非守护程序线程时，整个Python程序退出。

因此，当队列被清空并且当解释器退出线程时， queue.join将恢复，然后将死亡。

编辑：更正Queue默认行为

Answer 2

你的脚本对我来说很好，所以我假设你在询问发生了什么，这样你就能更好地理解它。 是的，你的子类将每个线程放在一个无限循环中，等待放入队列中的东西。 当发现某些东西时，它会抓住它并做它的事情。 然后，关键部分，它通过queue.task_done通知队列它已完成，并继续等待队列中的另一个项目。

虽然所有这一切都在工作线程上进行，但主线程正在等待（加入），直到队列中的所有任务完成为止，这将是线程发送queue.task_done标志的次数与消息中的相同次数。队列 。 此时主线程完成并退出。 由于这些是deamon线程，它们也会关闭。

这是很酷的东西，线程和队列。 这是Python真正优秀的部分之一。 你会听到各种关于Python中的线程如何与GIL搞砸的东西。 但是如果你知道在哪里使用它们（比如在这种情况下使用网络I / O），它们将真正为你加速。 一般规则是，如果您是I / O绑定，请尝试并测试线程; 如果你是cpu绑定，线程可能不是一个好主意，也许尝试进程。

祝好运，

麦克风

Answer 3

在这种情况下，我不认为Queue是必要的。 仅使用Thread ：

import threading, urllib2, time

hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com",
"http://ibm.com", "http://apple.com"]

class ThreadUrl(threading.Thread):
    """Threaded Url Grab"""
    def __init__(self, host):
        threading.Thread.__init__(self)
        self.host = host

    def run(self):
        #grabs urls of hosts and prints first 1024 bytes of page
        url = urllib2.urlopen(self.host)
        print url.read(1024)

start = time.time()
def main():
    #spawn a pool of threads
    for i in range(len(hosts)):
        t = ThreadUrl(hosts[i])
        t.start()

main()
print "Elapsed Time: %s" % (time.time() - start)