繁体   English   中英

为什么在PHP中使用cURL在PC和VPS中获得不同的结果?

[英]Why I get different results in my pc and vps with cURL in PHP?

我想从imooc.com使用PHP中的cURL获取用户信息。 因此,我编写了一个小程序来解决它。我的方法是访问www.imooc.com/space/profile/uid/{$uid} / {$uid}{$uid}是自动递增的)并将数据保存到数据库中。 但有时我会遇到302 redirect 我发现imooc.com有两个重定向站点,例如,当您访问www.imooc.com/space/profile/uid/110073www.imooc.com/space/profile/uid/212328 ,您会发现它们已重定向到不同的站点( www.imooc.com/error/noexistswww.imooc.com/course/list )。

在我的PC和www.imooc.com/error/noexists ,当重定向到www.imooc.com/error/noexists时,我可以得到相同的结果,但是,如果重定向到另一个站点,我的PC可以完美地解决它,而我的VPS却什么也没做,但不起作用。

我该如何解决这个问题? 这是我的代码:

// connect to DB
$dsn = "mysql:host=localhost;dbname=tools";
$link = new PDO($dsn, 'root', 'root', array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES 'utf8';"));

$sql = "SELECT MAX(uid) FROM imooc";
$stmt = $link->prepare($sql);
$stmt->execute();
$lastUid = $stmt->fetch()[0];

$uid = $lastUid+1;

// I execute this script using cron every minute, so I use loop to make sure it will get 40 sites
while(($lastUid + 40) >= $uid){
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, "http://www.imooc.com/space/profile/uid/{$uid}");
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_HEADER, false);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    $output = curl_exec($ch);

    curl_close($ch);

    $str = strstr($output, "的个人详情-慕课网</title>", true);
    if ($str === false) {
        $sql = "INSERT INTO imooc(uid,username, site, learntime, experience, usersex, usercity) VALUES(:uid, :username, :site, :learntime, :experience, :usersex, :usercity)";
        $stmt = $link->prepare($sql);
        $stmt->bindParam(':uid', $uid);
        $stmt->bindValue(':username', '没有找到此人');
        $stmt->bindValue(':site', '没有该人的职业信息');
        $stmt->bindValue(':learntime', '没有找到该人的学习时间');
        $stmt->bindValue(':experience', '没有找到该人的学习经验');
        $stmt->bindValue(':usersex', '没有找到该人的性别');
        $stmt->bindValue(':usercity', '没有找到该人的城市');
        $stmt->execute();
        $uid++;
        continue;
    }

    // get user-name
    $title = strstr($str, "<title>");
    $name = substr($title, 7);

    // get user-site
    $str = strstr($output, '<span class="user-site">');
    $span = strstr($str, "</span>", true);
    $site = trim(substr($span, 24));

    // get learn-time
    $str = strstr($output, '<p class="mp-num">');
    $span = strstr($str, '</p>', true);
    $learntime = trim(substr($span, 18));

    // get user-experience
    $str = strstr($output, '<span class="mp-num">');
    $span = strstr($str, '</span>', true);
    $experience = trim(substr($span, 21));

    // get user-sex
    $str = strstr($output, '<em >');
    $span = strstr($str, '</em>', true);
    $usersex = trim(substr($span, 5));
    if ($str === false) {
        $usersex = '保密';
    }

    // get user-city
    $str = strstr($output, '<span>所在城市:</span>');
    $span = strstr($str, '</ul>', true);
    $city = strip_tags(substr($span, strlen('<span>所在城市:</span>') ) );
    $usercity = str_replace(' ', '', $city);

    // insert data into database
    $sql = "INSERT INTO imooc(uid,username, site, learntime, experience, usersex, usercity) VALUES(:uid, :username, :site, :learntime, :experience, :usersex, :usercity)";
    $stmt = $link->prepare($sql);
    $stmt->bindParam(':uid', $uid);
    $stmt->bindParam(':username', $name);
    $stmt->bindParam(':site', $site);
    $stmt->bindParam(':learntime', $learntime);
    $stmt->bindParam(':experience', $experience);
    $stmt->bindParam(':usersex', $usersex);
    $stmt->bindParam(':usercity', $usercity);
    $stmt->execute();
    $uid++;
}

我使用XAMPP V3.2.1和5.6.11版本的PHP,我的vps PHP版本也是5.6.11。

如果您只需要从有效页面(非重定向,现有uid)中获取内容,则应检查是否发生了重定向并跳过此类页面。

为此,请检查卷曲响应元信息(响应标头)以获取响应代码(http_code)或redirect_url。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM