調試內存泄漏，PHP和MySQL Blob流文件下載

Question

在Mac上使用MAMP v2.0 _ _ Apache / 2.0.64（Unix） - PHP / 5.3.5 - DAV / 2 mod_ssl / 2.0.64 - OpenSSL / 0.9.7l - MySQL 5.5.9

我有一個我試圖運行的腳本，它似乎給了我主要的內存泄漏，我試圖調試，無法解決如何修復。

基本上，腳本是文件管理器模塊的一部分。 它在給定ID時處理文件的下載。

整個文件以64kb塊（每條記錄）存儲在數據庫表中，作為BLOB，並根據請求流式傳輸到客戶端。

數據庫： file_management

表： file_details，file_data

file_details ：
FileID - int（10）AUTO_INCREMENT
FileTypeID - int（10）
FileType - varchar（60）
FileName - varchar（255）
FileDescription - varchar（255）
FileSize - bigint（20）
FileUploadDate - datetime
FileUploadBy - int（5）

file_details ：
FileDataID - int（10）AUTO_INCREMENT
FileID - int（10）
FileData - BLOB

我實際得到的錯誤就是這個（來自php錯誤日志）：

[31-Oct-2011 09:47:39] PHP致命錯誤：第150行的/root/htdocs/file_manager/file_manager_download.php中允許的內存大小為134217728字節（試圖分配63326173字節）

現在，如果文件足夠小，下載的實際功能可以工作，在這種情況下，小於40mb，但是一旦超過它，就像上面錯誤中的60mb文件一樣，它會失敗。 它所做的就是下載一個0kb的文件。

顯然，134217728字節超過63326173字節（128mb對60mb）。

允許的內存大小為134217728字節是php.ini中的指令：

如果我將其設置為256M，它允許我下載該60mb文件，以及最多約80mb文件。

此外，如果我將其設置為1024M，它允許我下載260mb文件，可能更大。

所以你可以看到問題是腳本中某處正在占用所有內存的漏洞。

這是下載腳本：

    ini_set('display_errors',1);
error_reporting(E_ALL & ~E_NOTICE);

$strDB=mysql_connect("localhost","username","password")or die ("Error connecting to mysql.. Error: (" . mysql_errno() . ") " . mysql_error());
$database=mysql_select_db("file_management",$strDB);

if (isset($_GET["id"])) {

    // List of nodes representing each 64kb chunk
    $nodelist = array();

    // Pull file meta-data
    $sql_GetFileDetails = "
    SELECT 
    FileID,
    FileTypeID,
    FileType,
    FileName,
    FileDescription,
    FileSize,
    FileUploadDate,
    FileUploadBy
    FROM file_details WHERE FileID = '".$_GET["id"]."';";

    $result_GetFileDetails = mysql_query($sql_GetFileDetails) or die ("No results for this FileID.
Your Query: " . $sql_GetFileDetails . "
 Error: (" . mysql_errno() . ") " . mysql_error());

    if (mysql_num_rows($result_GetFileDetails) != 1) { die ("A MySQL error has occurred.
Your Query: " . $sql_GetFileDetails . "
 Error: (" . mysql_errno() . ") " . mysql_error()); }

    // Set the file object to get details from
    $FileDetailsArray = mysql_fetch_assoc($result_GetFileDetails);

    // Pull the list of file inodes
    $sql_GetFileDataNodeIDs = "SELECT FileDataID FROM file_data WHERE FileID = ".$_GET["id"]." order by FileDataID";

    if (!$result_GetFileDataNodeIDs = mysql_query($sql_GetFileDataNodeIDs)) { die("Failure to retrive list of file inodes
Your Query: " . $sql_GetFileDataNodeIDs . "
 Error: (" . mysql_errno() . ") " . mysql_error()); }

    while ($row_GetFileDataNodeIDs = mysql_fetch_assoc($result_GetFileDataNodeIDs)) {
        $nodelist[] = $row_GetFileDataNodeIDs["FileDataID"];
    }


    $FileExtension = explode(".",$FileDetailsArray["FileName"]);
    $FileExtension = strtolower($FileExtension[1]);

    // Determine Content Type 
    switch ($FileExtension) { 

        case "mp3":     $ctype="audio/mp3"; break;
        case "wav":     $ctype="audio/wav"; break;
        case "pdf":     $ctype="application/pdf"; break;
        //case "exe":       $ctype="application/octet-stream"; break;
        case "zip":     $ctype="application/zip"; break;
        case "doc":     $ctype="application/msword"; break;
        case "xls":     $ctype="application/vnd.ms-excel"; break;
        case "ppt":     $ctype="application/vnd.ms-powerpoint"; break;
        case "gif":     $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
        case "png":     $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
        case "jpeg":    $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
        case "jpg":     $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
        default:        $ctype="application/force-download";        // This forces download, instead of viewing in browser.
    } 

    // Send down the header to the client


    header("Date: ".gmdate("D, j M Y H:i:s e", time()));
    header("Cache-Control: max-age=2592000");
    //header("Last-Modified: ".gmdate("D, j M Y H:i:s e", $info['mtime']));
    //header("Etag: ".sprintf("\"%x-%x-%x\"", $info['ino'], $info['size'], $info['mtime']));
    header("Accept-Ranges: bytes");
    //header("Cache-Control: Expires ".gmdate("D, j M Y H:i:s e", $info['mtime']+2592000));
    header("Pragma: public"); // required
    header("Expires: 0");
    header("Cache-Control: must-revalidate, post-check=0, pre-check=0");
    header("Cache-Control: private",false); // required for certain browsers
    header("Content-Description: File Transfer");
    header("Content-Disposition: attachment; filename=\"".$FileDetailsArray["FileName"]."\"");
    header("Content-Transfer-Encoding: binary");
    header("Content-Type: ".$FileDetailsArray["FileSize"]);

    ob_end_clean();
    ob_start();
    ob_start("ob_gzhandler");

        $sql_GetFileDataBlobs = "SELECT FileData FROM file_data WHERE FileID = ".$_GET["id"]." ORDER BY FileDataID ASC;";

        if (!$result_GetFileDataBlobs = mysql_query($sql_GetFileDataBlobs)) { die("Failure to retrive list of file inodes
Your Query: " . $sql_GetFileDataBlobs . "
 Error: (" . mysql_errno() . ") " . mysql_error()); }

        while ($row_GetFileDataBlobs = mysql_fetch_array($result_GetFileDataBlobs)) {
            echo $row_GetFileDataBlobs["FileData"];
        }


    ob_end_flush();
    header('Content-Length: '.ob_get_length());
    ob_end_flush();
}

我已經使用了Xdebug並輸出了峰值內存使用量的結果，但似乎沒有任何東西可以接近極限，總的來說峰值內存使用量大約為900kb。

所以我認為它是將文件塊聚合到內存中而不是讓它們去，或類似的東西，但文件塊是唯一會達到該內存量的東西，導致腳本失敗。

我可以提供腳本將文件上傳到數據庫，這樣你就可以測試我的腳本了，請告訴我

歡呼任何幫助！

米克

---

* ///////// 解決了 ///////// *

我只是想感謝hafichuk，很好的回應並解決了我的整個問題。

這個問題有兩個問題。

1 - 我沒有在while循環中使用ob_flush（）。 我補充說，它似乎可以釋放大量內存，實現更大的下載，但不是無限制的。

例如，使用memory_limit = 128M，我現在可以下載超過40mb，實際上我現在可以達到200mb左右。 但這是它再次失敗的地方。 然而，第一個內存問題解決了。

第1課：沖洗你的物體！

2 - 我使用mysql_query來檢索SQL查詢的結果。 問題是它緩沖了這些結果，這增加了我的內存限制問題。

我最終使用了mysql_unbuffered_query，這現在可以完美運行。

然而，這確實存在一些限制，它會在讀取結果時鎖定您的表格。

第2課：如果不需要，不要緩沖mysql結果！ （在程序限制范圍內）

最后課程：

所有這些修復都有效，但是，它需要進行更多測試以確保它們的組合沒有問題。

此外，我已經學習了很多關於對象和php內存分配的知識，我只是希望有一種方法可以比xdebug提供的方式更好地調試過程。 如果有人對xdebug如何真正闡明這一過程有任何想法，請在評論中告訴我。

希望這有助於將來的其他人。

干杯

米克

Answer 1

你應該只需要在while循環中執行“ob_flush（）”。 這將清除頁面的緩沖區。 您需要刪除列出內容長度的最后一個標題，因為您無法在數據啟動后發送標題。 這不應該是下載文件的問題，只更新下載的進度表。