[英]How to resume reading from BigQuery Storage API upon session timeout
BigQuery 存储 API 有 6 小时 session 超时https://cloud.google.com/bigquery/beta2/reference/storage.torage.rpc1/google . 虽然读取 100s TB 的数据和 1k 最大允许流 6h 不足以读取所有数据。
鉴于这些限制，我想知道是否有可扩展的方式通过 BQ 存储 API 从 BQ 读取大型数据集？ 如果没有，是否有任何替代方案可以扩展从 BQ 读取大型数据集？
您的用例尚未涵盖。
根据目前的情况，可以
如果您说您有一个项目和用例，您无法在 6 小时内完成 1000 个流，我建议您联系您的 Google Cloud 代表，看看是否可以为您的项目提高一些上述配额。
避免 session 关闭 BigQuery 存储 API 与 Dataflow
[英]Avoid session shutdown on BigQuery Storage API with Dataflow
如何使用 BigQuery Storage API 并发读取 Python 线程中的流
[英]How to use BigQuery Storage API to concurrently read streams in Python threads
使用 BigQuery 存储时 golang 中的 BigQuery 可为空类型写入 API
[英]BigQuery nullable types in golang when using BigQuery storage write API
将表从 Google BigQuery 导出到 Google Cloud Storage 时出现权限错误
[英]Permissions Error Exporting a table from Google BigQuery to Google Cloud Storage
将多个文件从 Cloud Storage 导入 BigQuery 的命令
[英]Command to import multiple files from Cloud Storage into BigQuery
使用 PySpark 从 BigQuery 读取和写入数据：错误 `Failed to find data source: bigquery`
[英]Reading and writing data from BigQuery, using PySpark: ERROR `Failed to find data source: bigquery`
使用 BigQuery 存储写入 API 的 Google 数据流存储到特定分区
[英]Google Dataflow store to specific Partition using BigQuery Storage Write API
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
