导出Google BigQuery数据到Python Pandas dataframe

Question

我一直在研究如何将BigQuery数据导出到Pandas，有两种方法：

1. 将文件导出到 CVS 并加载它 - https://cloud.google.com/bigquery/exporting-data-from-bigquery

2. 直接把数据拉成一个pandas的帧。 这似乎不起作用，但这是方法 - pandas.io.gbq.read_gbq(query, project_id=None, index_col=None, col_order=None, reauth=False)。 看来gbq已经停产了？

有人可以向 go 建议最好和最有效的方法吗？

谢谢你。

Answer 1

gbq.read_gbq方法肯定适用于pandas .15.0-1，因为我刚从.14.0-1升级到check（Windows 7）。 如果您使用的是Python，我肯定会建议将数据从Google BigQuery中提取到数据框中，因为它几乎用于我的所有分析工作。

很难说如何在没有更多信息的情况下克服您的问题，但我首先要检查您的浏览器中是否已完成身份验证流程，该流程已登录到您的Google帐户，然后从那里进行故障排除。 您的第一个身份验证流程（oauth2client.tools.run）上有一个弃用警告，但一切仍然有效。

除此之外，我会尝试按照这里的例子： http ： //pandas-docs.github.io/pandas-docs-travis/io.html#io-bigquery

仅供参考，在当前的开发分支中，添加了Gcloud身份验证选项，以使无头身份验证更加方便。

Answer 2

可以使用google云库，存到dataframe

from google.cloud import bigquery
import os

#Your credentials to google cloud
os.environ["GOOGLE_APPLICATION_CREDENTIALS"]=r"C:\YourPath\to\credentials.json"

# Construct a BigQuery client object.
client = bigquery.Client()

#Select Your table in BQ
query = """
    SELECT *
    FROM `bigquery-public-data.usa_names.usa_1910_2013`
"""
query_job = client.query(query)  # Make an API request

result = query_job.to_dataframe()  # Stores your query results to dataframe