[英]Making multiple curl requests without timeout.
我正在開發一個系統,需要使用多個GET請求獲取5000多個用戶位置。 不幸的是,API端點不支持多個客戶端ID。 即。 我必須發出5000多個唯一的get請求才能獲取其位置,並使用(累積響應)進行另一個API調用。
我正在使用CURL發出請求。 我使用以下代碼段[1]發出了請求。
<?php
function multiRequest($data, $options = array()) {
// array of curl handles
$curly = array();
// data to be returned
$result = array();
// multi handle
$mh = curl_multi_init();
// loop through $data and create curl handles
// then add them to the multi-handle
foreach ($data as $id => $d) {
$curly[$id] = curl_init();
$url = (is_array($d) && !empty($d['url'])) ? $d['url'] : $d;
curl_setopt($curly[$id], CURLOPT_URL, $url);
curl_setopt($curly[$id], CURLOPT_HEADER, 0);
curl_setopt($curly[$id], CURLOPT_RETURNTRANSFER, 1);
// post?
if (is_array($d)) {
if (!empty($d['post'])) {
curl_setopt($curly[$id], CURLOPT_POST, 1);
curl_setopt($curly[$id], CURLOPT_POSTFIELDS, $d['post']);
}
}
// extra options?
if (!empty($options)) {
curl_setopt_array($curly[$id], $options);
}
curl_multi_add_handle($mh, $curly[$id]);
}
// execute the handles
$running = null;
do {
curl_multi_exec($mh, $running);
} while($running > 0);
// get content and remove handles
foreach($curly as $id => $c) {
$result[$id] = curl_multi_getcontent($c);
curl_multi_remove_handle($mh, $c);
}
// all done
curl_multi_close($mh);
return $result;
}
?>
它非常適合少量請求,但是當我嘗試達到1000以上時,它會超時。
$data = [];
for ($i = 0; $i < 1000; $i++) {
$data[] = 'https://foo.bar/api/loc/v/queries/location?address=XXXXXXXXX';
}
$token = $this->refresh();
$r = $this->multiRequest($data, $token);
解決此問題的最佳方法是什么?
有沒有一種方法可以修改端點API以允許處理多個ID? 如果是,這是首選,因為如果同時運行數千個請求,則實際上是在進行類似DDoS攻擊的攻擊。
但是,您可能需要檢查PHP的curl_multi_ *函數( http://us3.php.net/manual/en/function.curl-multi-exec.php )。
另一個有用的鏈接: http : //www.onlineaspect.com/2009/01/26/how-to-use-curl_multi-without-blocking/
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.