我們如何使 PHP 中的多個 file_get_contents 運行得更快？

Question

我們正在構建一個執行重復 file_get_contents 的 API。 我有一個用戶 ID 數組， file_get_contents()的數量將按數組中的內容數量重復。 我們將處理數以千計的請求。

function request($userid) {
    global $access_token;
    $url = 'https://<api-domain>'.$userid.'?access_token='.$access_token;
    $response = file_get_contents($url);
    return json_decode($response);
}

function loopUserIds($arrayUserIds) {
    global $countFollowers;
    $arrayAllUserIds = array();
    foreach ($arrayUserIds as $userid) {
        $followers = request($userid);
        ...
    }
    ...
}

我擔心的是需要時間才能得到一切。 由於該函數也將在循環中調用。 請告知我們如何使這個（許多file_get_contents()請求）運行得更快？

Answer 1

正如@HankyPanky 提到的，您可以使用curl_multi_exec()同時執行多個並發請求。

這樣的事情應該有幫助：

function fetchAndProcessUrls(array $urls, callable $f) {

    $multi = curl_multi_init();
    $reqs  = [];

    foreach ($urls as $url) {
        $req = curl_init();
        curl_setopt($req, CURLOPT_URL, $url);
        curl_setopt($req, CURLOPT_HEADER, 0);
        curl_multi_add_handle($multi, $req);
        $reqs[] = $req;
    }

    // While we're still active, execute curl
    $active = null;

    // Execute the handles
    do {
        $mrc = curl_multi_exec($multi, $active);
    } while ($mrc == CURLM_CALL_MULTI_PERFORM);

    while ($active && $mrc == CURLM_OK) {
        if (curl_multi_select($multi) != -1) {
            do {
                $mrc = curl_multi_exec($multi, $active);
            } while ($mrc == CURLM_CALL_MULTI_PERFORM);
        }
    }

    // Close the handles
    foreach ($reqs as $req) {
        $f(curl_multi_getcontent($req));
        curl_multi_remove_handle($multi, $req);
    }
    curl_multi_close($multi);
}

你可以像這樣使用它：

$urlArray = [ 'http://www.example.com/' , 'http://www.example.com/', ... ];

fetchAndProcessUrls($urlArray, function($requestData) { 

    /* do stuff here */ 

    // e.g.
    $jsonData = json_decode($requestData, 1); //
});

Answer 2

當 curl_multi_exec 不可用時，您可以在重用 $ch 而不是為每個文件創建一個新文件時獲得性能，這將在從同一主機下載時重用連接。