[英]Is there any way we can load BigTable data into BigQuery?
我想直接將 BigTable 數據加載到 BigQuery 中。
到目前為止，我正在使用 Python 將 BigTable 數據加載到 CSV 文件中，然后將 csv 文件加載到 BigQuery 中。
但是我不想在 BigTable 和 BigQuery 之間使用 csv 文件有什么直接的方法嗎？
要添加 Mikhail 的建議，我建議使用外部表在 BigQuery 中創建一個永久表。 您將為所需的列定義架構，然后查詢您感興趣的行。將數據保存到 BigQuery 后，它不會對您的 Bigtable 性能產生任何影響。 如果要獲取最新數據，可以使用相同的查詢創建一個新的永久表。
如果您希望將數據復制並存儲在 BigQuery 中，那么使用永久外部表查詢 Cloud Bigtable 數據並不是您想要的。 它明確提到“數據未存儲在 BigQuery 表中”。 我的理解是永久表更多的是為了持久化的訪問控制，但是還是直接查詢Bigtable。
這可能有點矯枉過正，但您可以設置 Apache Beam 管道，該管道在Dataflow中運行，具有BigQueryIO 源和BigTableIO 接收器。 您必須編寫一些轉換邏輯，但總的來說它應該是一個非常簡單的管道。 這里唯一的問題是 BigTableIO 連接器僅適用於 Beam Java SDK ，因此您必須在 Java 中編寫此管道。
有沒有辦法將 avro 模式與 Bigquery 和 Bigtable 匹配？
[英]Is there a way to match avro schema with Bigquery and Bigtable?
如何在 BigQuery 中加載 shapefile？ 有沒有更簡單的方法在 BigQuery 中上傳多邊形數據？
[英]How to load a shapefile in BigQuery? Is there a simpler way to upload polygon data in BigQuery?
有什么好的方法可以快速將數據從 BigQuery 加載到 Clickhouse 中嗎？
[英]Is there a good way to load data from BigQuery into Clickhouse quickly?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
