使用PHP CURL解析繁重的网站？

Question

我使用PHP CURL来分析负载较重的网站（该网站甚至很少在浏览器中打开）。 结果是我的服务器响应代码为503或0（无）。 也许您可以给我建议或告诉我一些CURL功能以获取正常的服务器响应？

我的CURL选项：

$options = array(
    CURLOPT_REFERER => $url,
    CURLOPT_TIMEOUT => 1800,
    CURLOPT_HEADER => true,
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_FOLLOWLOCATION => true,
    CURLOPT_SSL_VERIFYHOST => false,
    CURLOPT_SSL_VERIFYPEER => false,
    CURLOPT_HEADERFUNCTION => "curlHeaderCallback",
    CURLOPT_COOKIE => Cookies::arrayToString(Cookies::instance()->load()),
    CURLOPT_USERAGENT => "Opera/9.80 (Windows NT 6.1; U; ru) Presto/2.9.168 Version/11.50",
    CURLOPT_HTTPHEADER => $headers
);

问题是我无法获得页面代码的响应。

我有2种变体：1.服务器没有应答； 2.在服务器的答案中，我得到带有代码503“服务器超载”的页面。

CurlHeaderCallback（）代码：

`function curlHeaderCallback($ch, $str)
{
if (strncmp($str, "Set-Cookie:", 11) === 0)
    {
    $cookie = trim(substr($str, 11));
    list($cookie, $options) = explode(";", $cookie, 2);
    list($key, $value) = explode("=", $cookie, 2);
    Cookies::instance()->set($key, $value);
    }
if (trim($str) == "")
    {
    curl_setopt($ch, CURLOPT_COOKIE, Cookies::arrayToString(Cookies::instance()->load()));
    }
return (strlen($str));
}`

我的动作是： $response = curl_exec($ch); $info = curl_getinfo($ch); $response = curl_exec($ch); $info = curl_getinfo($ch);

我没有响应，但是$info["http_code"]或第二个变量：作为响应，我有第503页的代码，而$info["http_code"] = 503

哦，还有一个选择是：

CURLOPT_CONNECTTIMEOUT => 30

图表在这里： http : //s61.radikal.ru/i172/1212/d6/33471472ee8e.png

Answer 1

如果只是在http代码之后，则需要使用CURLINFO_HTTP_CODE来使用CURLINFO_HTTP_CODE ，例如：

$handle = curl_init($url);
curl_setopt($handle,  CURLOPT_RETURNTRANSFER, TRUE);
$response = curl_exec($handle);
$httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE);