为同一主机的不同 URL 缓存 HTTP 请求名称解析。 可能的？

Question

问题摘要：我需要调用 HTTP 资源 A，同时使用之前 HTTP 请求对同一主机上的资源 B 的名称解析。

案例 1. 对同一资源的连续调用在第一次调用后产生更快的结果。 Profiler 告诉我，第一次和第二次调用之间的区别在于 DNS 名称解析 (GetHostAddresses)

var request = (HttpWebRequest)WebRequest.Create("https://www.somehost.com/resources/b.txt");
using (var response = (HttpWebResponse)request.GetResponse()) {}

var request = (HttpWebRequest)WebRequest.Create("https://www.somehost.com/resources/b.txt");
using (var response = (HttpWebResponse)request.GetResponse()) {}

CASE 2. 对同一主机上不同资源的连续调用会产生相同的延迟。 Profiler 告诉我，它们都会调用 DNS 名称解析。

var request = (HttpWebRequest)WebRequest.Create("https://www.somehost.com/resources/a.txt");
using (var response = (HttpWebResponse)request.GetResponse()) {}

var request = (HttpWebRequest)WebRequest.Create("https://www.somehost.com/resources/b.txt");
using (var response = (HttpWebResponse)request.GetResponse()) {}

我想知道为什么如果第二次调用不能从第一次调用中使用 DNS 缓存？ 它是同一个主机。

主要问题 - 如何改变它？

编辑上述行为还包括使用 HttpClient class。 看来这是特定于我使用的少数网络服务器的，并且此问题不会在其他服务器上发生。 我不知道具体发生了什么，但我怀疑有问题的网络服务器（Amazon CloudFront 和 Akamai）在提供服务后强制关闭连接，而忽略了我的请求保持活动标头。 我现在要关闭这个，因为不可能提出一个有意识的问题..

Answer 1

System.Net.Http.HttpClient不存在您的问题，请改为尝试。 它可以重用现有的连接（此类调用不需要 DNS 缓存）。 看起来这正是您想要实现的目标。 作为奖励，它支持 HTTP/2（可以在HttpClient实例创建时通过属性分配启用）。

WebRequest是古老的，微软不推荐用于新的开发。 在 .NET 5 中， HttpClient相当快（两倍？）。

每个应用程序创建一次HttpClient实例（ 链接）。

private static readonly HttpClient client = new HttpClient();

模拟您的要求。 注意await仅在标记为async的方法中可用。

string text = await client.GetStringAsync("https://www.somehost.com/resources/b.txt");

您也可以一次执行多个请求而不产生并发线程。

string[] urls = new string[]
{ 
    "https://www.somehost.com/resources/a.txt",
    "https://www.somehost.com/resources/b.txt"
};
List<Task<string>> tasks = new List<Task<string>>();
foreach (string url in urls)
{
    tasks.Add(client.GetStringAsync(url));
}
string[] results = await Task.WhenAll(tasks);

如果您不熟悉异步编程，例如async/await ，请从本文开始。

您还可以设置一次处理多少请求的限制。 让我们执行 1000 次相同的请求，一次限制为 10 个请求。

static async Task Main(string[] args)
{
    Stopwatch sw = new StopWatch();
    string url = "https://www.somehost.com/resources/a.txt";
    using SemaphoreSlim semaphore = new SemaphoreSlim(10);
    List<Task<string>> tasks = new List<Task<string>>();
    sw.Start();
    for (int i = 0; i < 1000; i++)
    {
        await semaphore.WaitAsync();
        tasks.Add(GetPageAsync(url, semaphore));
    }
    string[] results = await Task.WhenAll(tasks);
    sw.Stop();
    Console.WriteLine($"Elapsed: {sw.Elapsemilliseconds}ms");
}

private static async Task GetPageAsync(string url, SemaphoreSlim semaphore)
{
    try
    {
        return await client.GetStringAsync(url);
    }
    finally
    {
        semaphore.Release();
    }
}

你可以测量时间。