如何使用Google自定义搜索API检查Google目前是否已将网站列表编入索引？

Question

目前，您可以将电子表格（包含网站列表）导入数据库。 您可以单击一个按钮，它会检索Google为数据库中的每个域编制索引的页数。

它工作正常，直到约400个请求，然后我的请求没有回来。 不确定我做错了什么或如何使这项工作 - 任何想法？

try {
        require('db.php');
        $conn = new PDO ( "mysql:host=localhost;dbname=" . $database, $user, $pass );
        $conn->setAttribute( PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION );
        $stmt = $conn->query('SELECT `url` FROM domains');
        $stmt->setFetchMode(PDO::FETCH_ASSOC);
        while($row = $stmt->fetch()){
            $id = $row['id'];
            $url = $row['url'];
            $pages = getIndexedPageCount($url);
            if ( $pages > 0 ) {
                $status = 1;
            } else {
                $status = 0;
            }
            $prep = $conn->prepare("
            UPDATE `domains`
                SET
                    url = :url,
                    pages = :pages,
                    status = :status
                WHERE url = :url
            ");
            $prep->execute(array(
                ':url'      =>  $url,
                ':pages'    =>  $pages,
                ':status'   =>  $status
            ));
        }
    } catch ( PDOException $e ) {
        echo 'Error: ' . $e->getMessage();
        exit;
    }


    function getIndexedPageCount($domain) {

    // remove http:// and https://
    if ( strpos( $domain, 'http:' ) == 0 ) { $domain = str_replace('http://', '', $domain); }
    if ( strpos( $domain, 'https:' ) == 0 ) { $domain = str_replace('https://', '', $domain); }

        $content = file_get_contents('https://www.googleapis.com/customsearch/v1?key={{Removed API Key}}&q=site:' . $domain);

        if (strlen($content) > 1) {
            $data = json_decode($content);
            return intval($data->searchInformation->totalResults);
        }

        else {
            echo "Error: URL does not exist.";
        }
    }

任何帮助将不胜感激; 如果有人有想法我会尝试让它工作！

Answer 1

您可以向Google发送的请求数量有限制。

有关详细信息，请参阅此处https://developers.google.com/console/help/#monitoringandfiltering

以下是API控制台： https ： //code.google.com/apis/console

在目前的控制台中，它说Custom Search API有一个Courtesy limit: 100 requests/day

如果您未注册结算，则超出免费使用配额的任何使用都将失败。 启用结算后，您每天将继续收到100个免费查询。 但是，对于所有额外请求，您将按每1000次查询5美元的费率收费，每天最多10,000次查询。