无法下载网页html，超时

Question

我已经尝试过在这些页面上可以找到的所有内容，例如Webclient ， HttpClient ， HttpWebRequest等。我查看了提琴手并复制了所有cookie，添加了所有相同的标头和用户代理等。这些几乎可以在其他所有页面上使用尝试，但出于某些原因，Toys'R'Us只是超时。 昨天一切正常，今天似乎才停止工作。

我第一次在这里发布，但是有人可以尝试任何下载html的方法作为随机示例：

http://www.toysrus.co.uk/toys/transformers-robots-in-disguise-strongarm-one-step-changers/0148891

不管我尝试了什么，它似乎都挂起并超时。 真正令人讨厌的是，它可以在chrome，Internet Explorer，Fiddler中很好地加载...无论下载HttpWebRequest ， HttpWebRequest等如何，我似乎都无法用c＃下载它，它似乎挂起并超时。

需要明确的是，我昨天已经进行了这项工作，已经工作了几个月，他们的服务器上肯定有一些更改，但是我不知道是什么原因。

如果有人可以尝试并测试是否只是我的设置失败了，我将不胜感激。

Answer 1

很奇怪，最后通过添加以下特定标头使其正常工作：

接受：text / html，application / xhtml + xml， /

接受语言：en-GB

用户代理：Mozilla / 5.0（Windows NT 6.1; WOW64; Trident / 7.0; rv：11.0），如Gecko

接受编码：gzip，放气

在webclient下载字符串上。 我确定我昨天尝试过此方法……但现在可以使用了。 我想他们一定已经改变了自己的目标。 无论如何...现在可以继续进行。 再次感谢Gianlucca。