PHP cUrl循环泄漏内存

Question

以下代码处于循环中。 每个循环将URL更改为新地址。 我的问题是每次传递占用的内存越来越多。

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://site.ru/');
curl_setopt($ch, CURLOPT_TIMEOUT, 60);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, 'http://site.ru/');
curl_setopt($ch, CURLOPT_HEADER, false);

$html = new \DOMDocument();
$html->loadHTML(curl_exec($ch));

curl_close($ch);
$ch = null;

$xpath = new \DOMXPath($html);
$html = null;

foreach ($xpath->query('//*[@id="tree"]/li[position() > 5]') as $category) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $xpath->query('./a', $category)->item(0)->nodeValue);
    curl_setopt($ch, CURLOPT_TIMEOUT, 60);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_AUTOREFERER, 'http://site.ru/');
    curl_setopt($ch, CURLOPT_HEADER, false);

    $html = new \DOMDocument();
    $html->loadHTML(curl_exec($ch));

    curl_close($ch);
    $ch = null;

    // etc.
}

内存为2000 Mb。 脚本执行时间~2h。 PHP版本5.4.4。 如何避免内存泄漏？ 谢谢！

Answer 1

来自互联网的故事表明curl_setopt($ch, CURLOPT_RETURNTRANSFER, true)在某些PHP / cURL版本中被破解：

• ＃13225卷曲中的Memmory泄漏
• ＃40831 cURL扩展不清除重用句柄的缓冲区
• PHP脚本内存泄漏问题
• PHP cURL，使用CURLOPT_RETURNTRANSFER时内存泄漏

您还可以找到DOM故事：

• DOMDocument PHP内存泄漏
• PHP / DOMDocument：unset（）不释放资源
• DOMDocument / Xpath在长命令行过程中泄漏内存 - 解构此类的任何方法

创建一个最小的测试用例，找出泄漏的原因。 即从代码中删除不相关的包（DOM或cURL）。

然后使用最新的PHP版本重现它。 如果它仍然导致泄漏，请提交错误报告，否则使用该PHP版本。

Answer 2

重复使用相同的卷曲手柄，而不是每次在循环中创建和销毁它。

$ch = curl_init();
curl_setopt($ch, CURLOPT_TIMEOUT, 60);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, 'http://site.ru/');
curl_setopt($ch, CURLOPT_HEADER, false);
foreach ($pages as $url) {
    curl_setopt($ch, CURLOPT_URL, $url);
    $response = curl_exec($ch);
}
curl_close($ch);