繁体   English   中英

Python 3 asyncio如何正确关闭客户端连接

[英]Python 3 asyncio how to properly close client connection

我发现龙卷风网络应用程序中存在内存泄漏,我不知道如何解决它。 经过一些内存分析后,我发现我的memcached客户端在关闭客户端连接时泄漏了dict。 作为具有AWS ElastiCache自动发现机制的一部分,我打开/关闭memcached客户端(每分钟一次具体)。

这是一个使用pympler来演示泄漏的最小重现器:

from pympler import muppy, summary
import asyncio
import aiomcache

loop = asyncio.get_event_loop()

async def hello_aiomcache():
    mc = aiomcache.Client("127.0.0.1", 11211, loop=loop)
    await mc.set(b"some_key", b"Some value")
    value = await mc.get(b"some_key")
    print(value)
    values = await mc.multi_get(b"some_key", b"other_key")
    print(values)
    await mc.delete(b"another_key")
    mc.close()  

# establish a baseline (watch the <class 'dict line)
summary.print_(summary.summarize(muppy.get_objects()))

for i in range(50):
    loop.run_until_complete(hello_aiomcache())

# <class 'dict grows
summary.print_(summary.summarize(muppy.get_objects()))

ds = [ao for ao in muppy.get_objects() if isinstance(ao, dict)]

# leaked dict looks like {'_loop': <_UnixSelectorEventLoop running=False closed=False debug=False>, '_paused': False, '_drain_waiter': None, '_connection_lost': False, '_stream_reader': <StreamReader t=<_SelectorSocketTransport fd=34 read=polling write=<idle, bufsize=0>>>, '_stream_writer': None, '_client_connected_cb': None, '_over_ssl': False}
ds[2364]

看起来这些dict将永远存在,直到loop.close() 我很困惑。 我不想通过tornado.ioloop.IOLoop.IOLoop.current().asyncio_loop关闭我从龙卷风中借来的循环。 有没有其他方法可以在不关闭循环的情况下正确关闭/清理这些连接?

问题是由于没有await mc.close()引起的。

我有点惊讶地发现,如果没有一些明确的调度,协程就不会真正运行。 我天真地认为它最终会在将来某个时候被召唤。 但是, 协程文档明确指出:

调用协程不会启动其代码运行 - 调用返回的协程对象在您安排执行之前不会执行任何操作。 有两种基本的方法来启动运行:呼叫await coroutineyield from coroutine从另一个协程,或使用安排其执行(假设其他协同程序已经运行!) ensure_future()函数或AbstractEventLoop.create_task()方法。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM