在Tornado中处理Redis连接的正确方法是什么？ （异步 - 发布/订阅）

Question

我正在使用Redis以及我的Tornado应用程序与asyc客户端Brukva，当我查看Brukva站点上的示例应用程序时，他们正在websocket中的“ init ”方法上建立新连接

class MessagesCatcher(tornado.websocket.WebSocketHandler):
    def __init__(self, *args, **kwargs):
        super(MessagesCatcher, self).__init__(*args, **kwargs)
        self.client = brukva.Client()
        self.client.connect()
        self.client.subscribe('test_channel')

    def open(self):
        self.client.listen(self.on_message)

    def on_message(self, result):
        self.write_message(str(result.body))

    def close(self):
        self.client.unsubscribe('test_channel')
        self.client.disconnect()

在websocket的情况下很好但是如何在常见的Tornado RequestHandler post方法中处理它说长轮询操作（发布 - 订阅模型） 。 我在更新处理程序的每个post方法中创建新的客户端连接这是正确的方法吗？ 当我在redis控制台上检查时，我看到每个新的post操作都会增加客户端。

这是我的代码示例。

c = brukva.Client(host = '127.0.0.1')
c.connect()

class MessageNewHandler(BaseHandler):
    @tornado.web.authenticated
    def post(self):

        self.listing_id = self.get_argument("listing_id")
        message = {
            "id": str(uuid.uuid4()),
            "from": str(self.get_secure_cookie("username")),
            "body": str(self.get_argument("body")),
        }
        message["html"] = self.render_string("message.html", message=message)

        if self.get_argument("next", None):
            self.redirect(self.get_argument("next"))
        else:
            c.publish(self.listing_id, message)
            logging.info("Writing message : " + json.dumps(message))
            self.write(json.dumps(message))

    class MessageUpdatesHandler(BaseHandler):
        @tornado.web.authenticated
        @tornado.web.asynchronous
        def post(self):
            self.listing_id = self.get_argument("listing_id", None)
            self.client = brukva.Client()
            self.client.connect()
            self.client.subscribe(self.listing_id)
            self.client.listen(self.on_new_messages)

        def on_new_messages(self, messages):
            # Closed client connection
            if self.request.connection.stream.closed():
                return
            logging.info("Getting update : " + json.dumps(messages.body))
            self.finish(json.dumps(messages.body))
            self.client.unsubscribe(self.listing_id)


        def on_connection_close(self):
            # unsubscribe user from channel
            self.client.unsubscribe(self.listing_id)
            self.client.disconnect()

如果您提供类似案例的示例代码，我将不胜感激。

Answer 1

有点晚了，但我一直在使用龙卷风 。 它适用于龙卷风的ioloop和tornado.gen模块

安装tornadoredis

它可以从pip安装

pip install tornadoredis

或者使用setuptools

easy_install tornadoredis

但你真的不应该这样做。 您还可以克隆存储库并将其解压缩。 然后跑

python setup.py build
python setup.py install

连接到redis

以下代码包含在main.py或同等代码中

redis_conn = tornadoredis.Client('hostname', 'port')
redis_conn.connect()

redis.connect只调用一次。 这是一个阻塞调用，所以应该在启动主ioloop之前调用它。 所有处理程序之间共享相同的连接对象。

您可以将其添加到您的应用程序设置中

settings = {
    redis = redis_conn
}
app = tornado.web.Application([('/.*', Handler),],
                              **settings)

使用tornadoredis

该连接可以作为self.settings['redis']在处理程序中使用，也可以作为BaseHandler类的属性添加。 您的请求处理程序将该类子类化并访问该属性。

class BaseHandler(tornado.web.RequestHandler):

    @property
    def redis():
        return self.settings['redis']

要与redis通信，请使用tornado.web.asynchronous和tornado.gen.engine装饰器

class SomeHandler(BaseHandler):

    @tornado.web.asynchronous
    @tornado.gen.engine
    def get(self):
        foo = yield gen.Task(self.redis.get, 'foo')
        self.render('sometemplate.html', {'foo': foo}

额外的信息

可以在github repo上找到更多示例和其他功能，如连接池和管道。

Answer 2

你应该在你的应用程序中汇集连接。 因为看起来brukva不会自动支持这个（redis-py支持这个，但是本质上是阻塞因此龙卷风不顺利），你需要编写自己的连接池。

但是，模式非常简单。 沿着这些方向的东西（这不是真正的操作代码）：

class BrukvaPool():

    __conns = {}


    def get(host, port,db):
        ''' Get a client for host, port, db '''

        key = "%s:%s:%s" % (host, port, db)

        conns = self.__conns.get(key, [])
        if conns:
            ret = conns.pop()
            return ret
        else:
           ## Init brukva client here and connect it

    def release(client):
        ''' release a client at the end of a request '''
        key = "%s:%s:%s" % (client.connection.host, client.connection.port, client.connection.db)
        self.__conns.setdefault(key, []).append(client)

它可能有点棘手，但这是主要的想法。