[英]Gevent queue high CPU usage
為什么此代碼永久使用95%的CPU? 生產者未發送任何請求,但cpu很熱。 如何降低CPU使用率而不在消費者Greenlet中添加顯式的非零睡眠超時?
from gevent import queue
from gevent import sleep
from gevent import Greenlet
def cons(q):
while True:
try:
data = q.get_nowait()
except queue.Empty:
sleep(0)
continue
print data
def prod(q):
while True:
#q.put_nowait('hello')
sleep(1)
if __name__ == '__main__':
q = queue.Queue()
cons1 = Greenlet.spawn(cons, q)
prod1 = Greenlet.spawn(prod, q)
cons1.join()
prod1.join()
在第8行中,使用get()而不是get_nowait()
data = q.get()
超級簡單,現在您的消費者在等待更多工作時會阻塞。
所有建議的最佳解決方案:對每個隊列在單獨的greenlet中使用queue.get阻止調用。
下一部分代碼將在greenlet內部的greenlets中輪詢兩個gevent.queue隊列+ zmq.green套接字=)CPU負載接近零!
def _zmq_poll(self):
while True:
sockets = super(Core, self)._zmq_poll()
if sockets:
if sockets.get(self.z_ctr) == zmq.POLLIN:
self.ctr_process()
def ctr_process(self):
self.send_log('new CTR: %s')
def req_process(self):
while True:
req = self.q_req_core.get()
self.send_log('new req: %s' % req)
self.q_core_wrk.put(req)
def wrk_process(self):
while True:
wrk_result = self.q_wrk_core.get()
self.send_log('new result: %s' % wrk_result)
self.q_core_res.put(wrk_result)
self.test_wrk_result(wrk_result)
def _run(self):
self.slaves_start()
req_process = Greenlet(self.req_process)
wrk_process = Greenlet(self.wrk_process)
zmq_poll = Greenlet(self._zmq_poll)
req_process.start()
wrk_process.start()
zmq_poll.start()
zmq_poll.join()
req_process.join()
wrk_process.join()
self._cleanup()
感謝您的建議!
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.