[英]Why I get different results in my pc and vps with cURL in PHP?
我想从imooc.com使用PHP中的cURL获取用户信息。 因此,我编写了一个小程序来解决它。我的方法是访问www.imooc.com/space/profile/uid/{$uid}
/ {$uid}
( {$uid}
是自动递增的)并将数据保存到数据库中。 但有时我会遇到302 redirect
。 我发现imooc.com
有两个重定向站点,例如,当您访问www.imooc.com/space/profile/uid/110073
或www.imooc.com/space/profile/uid/212328
,您会发现它们已重定向到不同的站点( www.imooc.com/error/noexists
或www.imooc.com/course/list
)。
在我的PC和www.imooc.com/error/noexists
,当重定向到www.imooc.com/error/noexists
时,我可以得到相同的结果,但是,如果重定向到另一个站点,我的PC可以完美地解决它,而我的VPS却什么也没做,但不起作用。
我该如何解决这个问题? 这是我的代码:
// connect to DB
$dsn = "mysql:host=localhost;dbname=tools";
$link = new PDO($dsn, 'root', 'root', array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES 'utf8';"));
$sql = "SELECT MAX(uid) FROM imooc";
$stmt = $link->prepare($sql);
$stmt->execute();
$lastUid = $stmt->fetch()[0];
$uid = $lastUid+1;
// I execute this script using cron every minute, so I use loop to make sure it will get 40 sites
while(($lastUid + 40) >= $uid){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "http://www.imooc.com/space/profile/uid/{$uid}");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
$output = curl_exec($ch);
curl_close($ch);
$str = strstr($output, "的个人详情-慕课网</title>", true);
if ($str === false) {
$sql = "INSERT INTO imooc(uid,username, site, learntime, experience, usersex, usercity) VALUES(:uid, :username, :site, :learntime, :experience, :usersex, :usercity)";
$stmt = $link->prepare($sql);
$stmt->bindParam(':uid', $uid);
$stmt->bindValue(':username', '没有找到此人');
$stmt->bindValue(':site', '没有该人的职业信息');
$stmt->bindValue(':learntime', '没有找到该人的学习时间');
$stmt->bindValue(':experience', '没有找到该人的学习经验');
$stmt->bindValue(':usersex', '没有找到该人的性别');
$stmt->bindValue(':usercity', '没有找到该人的城市');
$stmt->execute();
$uid++;
continue;
}
// get user-name
$title = strstr($str, "<title>");
$name = substr($title, 7);
// get user-site
$str = strstr($output, '<span class="user-site">');
$span = strstr($str, "</span>", true);
$site = trim(substr($span, 24));
// get learn-time
$str = strstr($output, '<p class="mp-num">');
$span = strstr($str, '</p>', true);
$learntime = trim(substr($span, 18));
// get user-experience
$str = strstr($output, '<span class="mp-num">');
$span = strstr($str, '</span>', true);
$experience = trim(substr($span, 21));
// get user-sex
$str = strstr($output, '<em >');
$span = strstr($str, '</em>', true);
$usersex = trim(substr($span, 5));
if ($str === false) {
$usersex = '保密';
}
// get user-city
$str = strstr($output, '<span>所在城市:</span>');
$span = strstr($str, '</ul>', true);
$city = strip_tags(substr($span, strlen('<span>所在城市:</span>') ) );
$usercity = str_replace(' ', '', $city);
// insert data into database
$sql = "INSERT INTO imooc(uid,username, site, learntime, experience, usersex, usercity) VALUES(:uid, :username, :site, :learntime, :experience, :usersex, :usercity)";
$stmt = $link->prepare($sql);
$stmt->bindParam(':uid', $uid);
$stmt->bindParam(':username', $name);
$stmt->bindParam(':site', $site);
$stmt->bindParam(':learntime', $learntime);
$stmt->bindParam(':experience', $experience);
$stmt->bindParam(':usersex', $usersex);
$stmt->bindParam(':usercity', $usercity);
$stmt->execute();
$uid++;
}
我使用XAMPP V3.2.1和5.6.11版本的PHP,我的vps PHP版本也是5.6.11。
如果您只需要从有效页面(非重定向,现有uid)中获取内容,则应检查是否发生了重定向并跳过此类页面。
为此,请检查卷曲响应元信息(响应标头)以获取响应代码(http_code)或redirect_url。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.