[英]Can I use google DataFlow with native python?
我正在尝试在谷歌云中构建一个 python ETL 管道，而谷歌云数据流似乎是一个不错的选择。 当我浏览文档和开发人员指南时，我看到 apache beam 始终附加到数据流，因为它基于它。 我可能会在 apache beam 中发现处理我的数据帧的问题。
我的问题是：
我的管道旨在从 BigQuery 处理它读取数据并将其重新保存在一个 bigquery 表中。 我可能会在我的脚本中使用一些外部 API。
关于你的第一个问题，Dataflow需要使用Apache Beam。 事实上，在 Apache Beam 之前，有一个叫做 Dataflow SDK 的东西，它是 Google 专有的，然后开源给 Apache Beam。
Python Beam SDK 是相当容易的，一旦你付出了一些努力，你需要的主要流程操作非常接近原生 Python 语言。
如果您的最终目标是读取、处理和写入 BQ，我会说 Beam + Dataflow 是一个很好的搭配。
如何使用 PipelineOptions 告诉数据流“use_unsupported_python_version”？
[英]How can I tell Dataflow to "use_unsupported_python_version" with PipelineOptions?
作业开始后，我可以动态更改 Google Dataflow 中的日志级别吗？
[英]Can I dynamically alter log levels in Google Dataflow once the job has started?
我可以配置 Google DataFlow 以在排空管道时保持节点正常运行吗
[英]Can I configure Google DataFlow to keep nodes up when I drain a pipeline
在谷歌云数据流中使用 experiments=no_use_multiple_sdk_containers
[英]Use Of experiments=no_use_multiple_sdk_containers in Google cloud dataflow
Google Cloud Dataflow 可以在 Go 中没有外部 IP 地址的情况下运行吗？
[英]Can Google Cloud Dataflow be run without an external IP address in Go?
如何使用 GCP 云 SQL 作为数据流源和/或接收器与 Python？
[英]How to use GCP Cloud SQL as Dataflow source and/or sink with Python?
如何使用自定义 Docker 图像运行 Python Google Cloud Dataflow 作业？
[英]How to run a Python Google Cloud Dataflow job with a custom Docker image?
谷歌云数据流（Python）：function 读取和写入 a.csv 文件？
[英]Google Cloud Dataflow (Python): function to read from and write to a .csv file?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
