Python Tornado：從非協程消耗外部隊列

Question

我有以下情況：使用 python 3.6 和 Tornado 5.1 通過網絡套接字接收客戶端請求。 其中一些請求需要您調用外部處理，它返回一個隊列，然后定期將結果存入其中。 這些結果通過 websocket 傳輸到客戶端。

外部處理不是協程，所以我使用 run_in_executor 調用它。

我的問題：當外部處理的響應時間非常大時，run_in_executor達到最大worker數（默認：處理器數x 5） ！

增加最大工人數量是否安全？ 還是推薦另一種解決方案？ !!

下面是一個簡化的代碼。

從已經非常感謝你！！！！

#########################
##    SERVER CODE      ##
#########################


from random import randint
import tornado.httpserver
import tornado.websocket
import tornado.ioloop
import tornado.web
from random import randint
from tornado import gen
import threading
import asyncio
import queue
import time


class WSHandler(tornado.websocket.WebSocketHandler):
    """entry point for all WS request"""

    def open(self):
        print('new connection. Request: ' + str(self.request))

    async def on_message(self, message):

        # Emulates the subscription to an external object
        # that returns a queue to listen
        producer = Producer()
        q = producer.q

        while True:
            rta = await tornado.ioloop.IOLoop.current().run_in_executor(None, self.loop_on_q, q)
            if rta != None:
                await self.write_message(str(rta))
            else:
                break


    def on_close(self):
        print('connection closed. Request: ' + str(self.request) +
              '. close_reason: ' + str(self.close_reason) +
              '. close_code: ' + str(self.close_code) +
              '. get_status: ' + str(self.get_status()))


    def loop_on_q(self, q):
        rta = q.get()
        return rta

class Producer:

    def __init__(self):
        self.q = queue.Queue()
        t = threading.Thread(target=self.start)
        t.daemon = True
        t.start()

    def start(self):
        count = 1
        while True:
            # time.sleep(randint(1,5))
            if count < 100:
                self.q.put(count)
            else:
                self.q.put(None)
                break
            time.sleep(50)
            count += 1



application = tornado.web.Application([
    (r'/ws', WSHandler),
])

if __name__ == "__main__":
    asyncio.set_event_loop(asyncio.new_event_loop())
    http_server = tornado.httpserver.HTTPServer(application)
    http_server.listen(8888)
    print('SRV START')
    tornado.ioloop.IOLoop.instance().instance().start()


#########################
##    CLIENT CODE      ##
#########################

# If you run it more than 20 times in less than 50 seconds ==> Block
# (number of processors x 5), I have 4 cores
from websocket import create_connection

def conect():
    url = 'ws://localhost:8888/ws'
    ws = create_connection(url)
    print('Conecting')
    return ws

print('Conecting to srv')
con_ws = conect()
print('Established connection. Sending msg ...')
msj = '{"type":"Socket"}'
con_ws.send(msj)
print('Package sent. Waiting answer...')

while True:
    result = con_ws.recv()
    print('Answer: ' + str(result))

Answer 1

增加最大工人數量是否安全是的，最多可以增加到可以通過負載測試計算的某個固定數量。

還是推薦另一種解決方案？ 如果達到工作人員限制，您可以將工作人員移動到多個獨立的服務器（這種方法稱為水平擴展）並使用消息隊列將作業傳遞給他們。 如果您喜歡自己編寫所有內容，請將 Celery 視為包含電池的解決方案或 RabbitMQ、Kafka 等。