Git-Hub pushEvent數據集的大查詢“超出配額”SQL

Question

我對Google BigQuery很陌生，對SQL只有輕微的幫助，我很想知道你們是否可以幫助我重新格式化我的SQL語句，以減少我的使用量？ 因為我目前的設置遇到了這個錯誤：

錯誤：超出配額：您的項目超出了掃描的免費查詢字節的配額。 有關詳細信息，請參閱https://cloud.google.com/bigquery/troubleshooting-errors

我的查詢如下：

SELECT
  LANGUAGE AS name,
  year,
  quarter,
  count
FROM (
  SELECT
    *
  FROM (
    SELECT
      lang AS language,
      y AS year,
      q AS quarter,
      type,
      COUNT(*) AS count
    FROM (
      SELECT
        a.type type,
        b.lang lang,
        a.y y,
        a.q q
      FROM (
        SELECT
          type,
          YEAR(created_at) AS y,
          QUARTER(created_at) AS q,
          STRING(REGEXP_REPLACE(repo.url, r'(https:\/\/api\.github\.com\/repos\/)', '')) AS name
        FROM
          [githubarchive:year.2016] ) a
      JOIN (
        SELECT
          repo_name AS name,
          lang
        FROM (
          SELECT
            *
          FROM (
            SELECT
              *,
              ROW_NUMBER() OVER (PARTITION BY repo_name ORDER BY lang) AS num
            FROM (
              SELECT
                repo_name,
                FIRST_VALUE(language.name) OVER (PARTITION BY repo_name ORDER BY language.bytes DESC) AS lang
              FROM
                [bigquery-public-data:github_repos.languages]))
          WHERE
            num = 1
          ORDER BY
            repo_name)
        WHERE
          lang != 'null') b
      ON
        a.name = b.name)
    GROUP BY
      type,
      language,
      year,
      quarter
    ORDER BY
      year,
      quarter,
      count DESC)
  WHERE
    count >= 1000)
WHERE
  type = 'PushEvent'
LIMIT
  100

基本上我試圖在Git-Hub上“推”出所有前100種語言的數據集，並使用D3來顯示所述數據。 到目前為止，我使用的數據非常少，但是這一個Query目前是20gb，應該低於限制。

作為一名學生，我懷疑我是否有能力支付這項服務的費用。

Answer 1

有問題的查詢掃描只有22.5GB，約為0.11美元
錯誤是說你超過了你的免費等級允許字節 - 這是1TB所以你可以在一個月內運行你的查詢約45次，之后你需要等待下個月

我給你的建議不是每次都運行這個查詢 - 而是保存結果並在你的實驗/嘗試中使用它，所以你不要快速浪費你的1TB！