htmlagilitypack c＃錯誤403禁止

Question

我使用htmlagilitypack從這里獲取信息。 這是代碼

int i=2449520;

.....................

web.OverrideEncoding = Encoding.UTF8;
web.UserAgent = "Mozilla/5.0 (Windows NT 6.2; WOW64; rv:19.0) Gecko/20100101 Firefox/19.0";
doc = web.Load("http://ru-patent.info/24/49/" + i + ".html");
var List = doc.DocumentNode.SelectNodes("//div[@style='padding:10px; border:#999 dotted 1px; background-color:#FFF; background-image:url(/imgs/back.gif);']");
foreach (var t in List)
{
    Regex regex = new Regex(@"\sRU\s\d+");
    Match match = regex.Match(t.InnerText);
    sw.WriteLine(i.ToString());
    while (match.Success)
    {
       sw.WriteLine(match.ToString());
       match = match.NextMatch();
    }
    sw.WriteLine('\n');
}
i++;

我還使用間隔為10秒的計時器，並且需要從中獲取信息的頁面超過一千。 但是大約30頁后，我收到403禁止錯誤。 我該如何繞過呢？

Answer 1

響應403表示服務器拒絕接受您的請求。 我想這可能是DDoS的服務器保護。 您可以使用不同的服務器（具有不同的API地址），也可以嘗試在請求之間進行中斷。 詢問網站所有者總是最好的方法是解析他們的信息的最佳方式。