如何收集 aiohttp 会话的响应

Question

我正在使用 asyncio 和 aiohttp 多次调用 API。 虽然可以打印回复，但我想将回复整理成一个组合结构 - 列表或 pandas dataframe 等。

在我的示例代码中，我连接到 2 个 url 并打印响应的一部分。 如何整理回复并访问所有回复？

import asyncio, aiohttp

async def get_url(session, url, timeout=300):
    async with session.get(url, timeout=timeout) as response:
        http = await response.text()
    print(str(http[:80])+'\n')
    return http    # becomes a list item when gathered
   
async def async_payload_wrapper(async_loop):
    # test with 2 urls as PoC
    urls = ['https://google.com','https://yahoo.com']
    async with aiohttp.ClientSession(loop=async_loop) as session:
        urls_to_check = [get_url(session, url) for url in urls]
        await asyncio.gather(*urls_to_check)

if __name__ == '__main__':
    event_loop = asyncio.get_event_loop()
    event_loop.run_until_complete(async_payload_wrapper(event_loop))

我试过打印到一个文件，这很有效，但速度很慢，我需要再次阅读它以进行进一步处理。 我试过附加到全局变量但没有成功。 例如，在 get_url 中使用在其外部定义的变量会产生错误，例如： NameError: name 'my_list' is not defined或UnboundLocalError: local variable 'my_list' referenced before assignment

Answer 1

感谢@python_user，这正是我所缺少的，返回的类型确实是一个简单的列表。 我想我曾尝试在 await 部分中获取无效的响应。

下面是我更新的 PoC 代码。
将其适用于 API、JSON 和 pandas 现在应该很容易了：)

import asyncio, aiohttp

async def get_url(session, url, timeout=300):
    async with session.get(url, timeout=timeout) as response:
        http = await response.text()
    return http[:80]    # becomes a list element
   
async def async_payload_wrapper(async_loop):
    # test with 2 urls as PoC
    urls = ['https://google.com','https://yahoo.com']
    async with aiohttp.ClientSession(loop=async_loop) as session:
        urls_to_check = [get_url(session, url) for url in urls]
        responses = await asyncio.gather(*urls_to_check)
    print(type(responses))
    print(responses)

if __name__ == '__main__':
    event_loop = asyncio.get_event_loop()
    event_loop.run_until_complete(async_payload_wrapper(event_loop))