使用 Apache Beam Dataflow Redshift 到 BigQuery
[英]Redshift to BigQuery using Apache Beam Dataflow
原文
2022-12-05 03:02:37
4
1
python/
google-bigquery/
amazon-redshift/
google-cloud-dataflow/
apache-beam
问题描述
我想使用 Dataflow 将 1 TB 数据从 Amazon Redshift 迁移到 BigQuery？ 我可以使用 apache beam (python) 从 Amazon Redshift 迁移到 BigQuery 吗？ 如果可以使用 apache beam，如何从 Amazon Redshift 迁移过程（代码）到 BigQuery？ 谢谢
1 个解决方案
解决方案1
0 已采纳 2022-12-06 02:32:40
BigQuery 本身支持这样的用例： Migrate schema and data from Amazon Redshift
有理由使用 Dataflow 吗？ 我在Beam 支持的 IOs 列表中没有看到 Redshift。 也许您可以打开功能请求或自己贡献 - https://github.com/apache/beam/issues 。
如何使用 Dataflow 在 Apache Beam 中使用 CoGroupByKey 接收器到 BigQuery
[英]How to use CoGroupByKey sink to BigQuery in Apache Beam using Dataflow
使用 Dataflow Apache Beam 接收到 BigQuery 的正确格式
[英]Correct format to sink to BigQuery using Dataflow Apache Beam
用于 BigQuery 存储 API 上 Apache Beam 2.39.0 和 DataFlow 运行器的 PERMISSION_DENIED
[英]PERMISSION_DENIED for BigQuery Storage API on Apache Beam 2.39.0 and DataFlow runner
Google Dataflow 和 Apache 光束：为什么使用 ValueProvider
[英]Google Dataflow and Apache beam: why ValueProvider
Google Dataflow 上的 Apache Beam 示例的权限错误
[英]Permissions error with Apache Beam example on Google Dataflow
Spring Cloud Dataflow 与 Apache Beam/GCP 数据流说明
[英]Spring Cloud Dataflow vs Apache Beam/GCP Dataflow Clarification
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
无法使用 Dataflow Apache Beam 沉入 BigQuery
如何使用 Dataflow 在 Apache Beam 中使用 CoGroupByKey 接收器到 BigQuery
使用 Dataflow Apache Beam 接收到 BigQuery 的正确格式
用于 BigQuery 存储 API 上 Apache Beam 2.39.0 和 DataFlow 运行器的 PERMISSION_DENIED
数据流-动态创建配置 Apache Beam
Google Dataflow 和 Apache 光束：为什么使用 ValueProvider
Apache Beam 数据流管道使用 Bazel 构建和部署
Apache 光束中的开窗和水印：Google 数据流
Google Dataflow 上的 Apache Beam 示例的权限错误
Spring Cloud Dataflow 与 Apache Beam/GCP 数据流说明
相关标签