[英]Is there any way we can load BigTable data into BigQuery?
我想直接将 BigTable 数据加载到 BigQuery 中。
到目前为止，我正在使用 Python 将 BigTable 数据加载到 CSV 文件中，然后将 csv 文件加载到 BigQuery 中。
但是我不想在 BigTable 和 BigQuery 之间使用 csv 文件有什么直接的方法吗？
要添加 Mikhail 的建议，我建议使用外部表在 BigQuery 中创建一个永久表。 您将为所需的列定义架构，然后查询您感兴趣的行。将数据保存到 BigQuery 后，它不会对您的 Bigtable 性能产生任何影响。 如果要获取最新数据，可以使用相同的查询创建一个新的永久表。
如果您希望将数据复制并存储在 BigQuery 中，那么使用永久外部表查询 Cloud Bigtable 数据并不是您想要的。 它明确提到“数据未存储在 BigQuery 表中”。 我的理解是永久表更多的是为了持久化的访问控制，但是还是直接查询Bigtable。
这可能有点矫枉过正，但您可以设置 Apache Beam 管道，该管道在Dataflow中运行，具有BigQueryIO 源和BigTableIO 接收器。 您必须编写一些转换逻辑，但总的来说它应该是一个非常简单的管道。 这里唯一的问题是 BigTableIO 连接器仅适用于 Beam Java SDK ，因此您必须在 Java 中编写此管道。
有没有办法将 avro 模式与 Bigquery 和 Bigtable 匹配？
[英]Is there a way to match avro schema with Bigquery and Bigtable?
如何在 BigQuery 中加载 shapefile？ 有没有更简单的方法在 BigQuery 中上传多边形数据？
[英]How to load a shapefile in BigQuery? Is there a simpler way to upload polygon data in BigQuery?
有什么好的方法可以快速将数据从 BigQuery 加载到 Clickhouse 中吗？
[英]Is there a good way to load data from BigQuery into Clickhouse quickly?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
