PHP file_get_contents、Curl 或 DOMDocument 获得 400 Bad Request 或 403 Forbidden

Question

此特定服务器阻止所有请求。 我需要从这个站点获取内容。 我已经尝试了我发现的所有东西，但没有任何效果。

我用各种变体尝试了这段代码：

    $context = stream_context_create(
    array(
        "http" => array(
            "header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"
        )
    )
);

echo file_get_contents("https://www.idealista.pt", false, $context);

我已经尝试过 curl：

$url="https://www.idealista.pt";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
$html = curl_exec($ch);
curl_close($ch);

最后尝试了DOMdocument：

$dom = new DOMDocument();
libxml_use_internal_errors(true);
$dom->loadHTMLFile('https://www.idealista.pt');

$xpath = new DOMXPath($dom);
$l1 = $xpath->query('the_path_i_need');
$at = $c->getAttribute('attr_I_need');

所有这些代码都适用于其他网站，但不适用于这个网站。