为什么 HTTP 在 for 循环中调用，没有任务或期货，使用 aiohttp 运行得更快？

Question

在下面关于使用asyncio发出 HTTP 请求的文章中，它指出代码段 A 需要 8 秒才能完成，而代码段 B 需要 1 秒才能完成。

我很困惑为什么 A 没有更快。

如果 aiohttp ‘一次可以与多达 100 个不同的服务器建立连接’（如文章中所述），它不会有效地同时发出前 100 个请求，然后同时发出接下来的 50 个请求，导致时间比8 秒和更接近 B 的时间？

如果不是，那么时差从何而来？

A

import aiohttp
import asyncio

start_time = time.time()

async def main():

    async with aiohttp.ClientSession() as session:

        for number in range(1, 151):
            pokemon_url = f'https://pokeapi.co/api/v2/pokemon/{number}'
            async with session.get(pokemon_url) as resp:
                pokemon = await resp.json()
                print(pokemon['name'])

asyncio.run(main())
print("--- %s seconds ---" % (time.time() - start_time))

乙

async def main():

    async with aiohttp.ClientSession() as session:

        tasks = []
        for number in range(1, 151):
            url = f'https://pokeapi.co/api/v2/pokemon/{number}'
            tasks.append(asyncio.ensure_future(get_pokemon(session, url)))

        original_pokemon = await asyncio.gather(*tasks)
        for pokemon in original_pokemon:
            print(pokemon)

asyncio.run(main())
print("--- %s seconds ---" % (time.time() - start_time))

Answer 1

B 示例运行速度更快，因为asyncio.gather并发运行asyncio任务，另一方面，A 示例一个接一个地运行它，因此在前一个请求完成之前不会创建新请求。

你也可以用更短的方式重写 B 示例，因为你不需要使用asyncio.ensure_future ， asyncio.gather做所有的事情。 请注意，在 Python 的最新版本中，您应该使用asyncio.create_task而不是asyncio.ensure_future

import aiohttp
import asyncio
from typing import Any


async def get_pokemon(number: int, session: aiohttp.ClientSession) -> Any:
    url = f"https://pokeapi.co/api/v2/pokemon/{number}"
    async with session.get(url) as resp:
        pokemon = await resp.json()

    return pokemon


async def main():
    async with aiohttp.ClientSession() as s:
        # better use return_exceptions, otherwise if one failed you get app crash
        original_pokemon = await asyncio.gather(*[get_pokemon(i, s) for i in range(1, 5)], return_exceptions=True)

    for pokemon in original_pokemon:
        print(pokemon)
        print("*" * 10)

if __name__ == '__main__':
    asyncio.run(main())

添加：

文章的作者提供了虚假信息，不同之处在于aiohttp.ClientSession做了一些缓存，大概是DNS次查找。 使用requests.Session重写同步示例，您将获得与异步版本相同的结果。 实际上，如果您不使用异步执行 model 的优势，由于loop和coroutines管理，您的代码可能会更慢。

异步：

import aiohttp
import asyncio
import time

start_time = time.time()

async def main():

    async with aiohttp.ClientSession() as session:

        for number in range(1, 100):
            pokemon_url = f'https://pokeapi.co/api/v2/pokemon/{number}'
            async with session.get(pokemon_url) as resp:
                pokemon = await resp.json()
                print(pokemon['name'])

asyncio.run(main())
print("--- %s seconds ---" % (time.time() - start_time))
# I got --- 11.73325777053833 seconds ---

同步

import requests
import time

start_time = time.time()

# pay attention that I add with requests.Session() as session:
with requests.Session() as session:
    for number in range(1, 100):
        url = f'https://pokeapi.co/api/v2/pokemon/{number}'
        resp = session.get(url)
        pokemon = resp.json()
        print(pokemon['name'])

    print("--- %s seconds ---" % (time.time() - start_time))
    # I got --- 12.19397759437561 seconds ---