使用Webclient下載多個文件

Question

我正在嘗試通過NUnit測試用例從Web服務器下載文件：

[TestCase("url_to_test_server/456.pdf")]
[TestCase("url_to_test_server/457.pdf")]
[TestCase("url_to_test_server/458.pdf")]
public void Test(string url) 
{
    using (WebClient client = new WebClient())
    {
        client.Headers.Add("User-Agent", "Mozilla/4.0 (compatible; MSIE 8.0)");
        client.DownloadFile(new Uri(url), @"C:\Temp\" + Path.GetFileName(url));
    }
}

此代碼有效，但是當我嘗試獲取文件大小時，它掛起了。

[TestCase("url_to_test_server/456.pdf")]
[TestCase("url_to_test_server/457.pdf")]
[TestCase("url_to_test_server/458.pdf")]
public void Test(string url) 
{
    using (WebClient client = new WebClient())
    {
        client.Headers.Add("User-Agent", "Mozilla/4.0 (compatible; MSIE 8.0)");
        client.OpenRead(url);
        Int64 bytes_total = Convert.ToInt64(client.ResponseHeaders["Content-Length"]);
        client.DownloadFile(new Uri(url), @"C:\Temp\" + Path.GetFileName(url));
    }
}

如何解決呢？

Answer 1

您必須確保您的服務器也支持此標頭。 看來這不是客戶問題。

我會在瀏覽器中下載文件，並使用螢火蟲或類似程序檢查通訊。 您必須看到在響應中顯式返回的Content-length。 如果不是，則需要檢查服務器，否則問題出在客戶端。 我實際上無法想象如果客戶端確實返回了標題卻無法讀取標題的原因。

Answer 2

醒來死了的帖子，但這是答案...

當服務器未在響應標頭中提供Content-Length時，就會發生此問題。 您必須在服務器端進行修復。

發生這種情況的另一個原因是當我們達到服務器的連接限制時。 因此，我假設您的問題是相似的，並且正在循環中進行第二次或第三次嘗試。

當我們調用OpenRead時，它將打開一個流。 我們只需要在獲取文件大小后關閉此流，即可使其正常運行。

這是我用來獲取大小的代碼：

    /// <summary>
    /// Gets file size from a url using WebClient and Stream classes
    /// </summary>
    /// <param name="address">url</param>
    /// <param name="useHeaderOnly">requests only headers instead of full file</param>
    /// <returns>File size or -1 if their is an issue.</returns>
    static Int64 GetFileSize(string address, bool useHeaderOnly = false)
    {
        Int64 retVal = 0;
        try
        {
            if(useHeaderOnly)
            {
                WebRequest request = WebRequest.Create(address);
                request.Method = "HEAD";

                // WebResponse also has to be closed otherwise we get the same issue of hanging on the connection limit. Using statement closes it automatically.
                using (WebResponse response = request.GetResponse())
                {
                    if (response != null)
                    {
                        retVal = response.ContentLength;
                        //retVal =  Convert.ToInt64(response.Headers["Content-Length"]);
                    }
                }
                request = null;
            }
            else
            {
                using (WebClient client = new WebClient())
                {
                    // Stream has to be closed otherwise we get the issue of hanging on the connection limit. Using statement closes it automatically.
                    using (Stream response = client.OpenRead(address))
                    {
                        retVal = Convert.ToInt64(client.ResponseHeaders["Content-Length"]);
                    }
                }
            }
        }
        catch (Exception ex)
        {
            Console.WriteLine(ex.Message);
            retVal = -1;
        }


        return retVal;
    }