[英]Can I use google DataFlow with native python?
我正在嘗試在谷歌雲中構建一個 python ETL 管道，而谷歌雲數據流似乎是一個不錯的選擇。 當我瀏覽文檔和開發人員指南時，我看到 apache beam 始終附加到數據流，因為它基於它。 我可能會在 apache beam 中發現處理我的數據幀的問題。
我的問題是：
我的管道旨在從 BigQuery 處理它讀取數據並將其重新保存在一個 bigquery 表中。 我可能會在我的腳本中使用一些外部 API。
關於你的第一個問題，Dataflow需要使用Apache Beam。 事實上，在 Apache Beam 之前，有一個叫做 Dataflow SDK 的東西，它是 Google 專有的，然后開源給 Apache Beam。
Python Beam SDK 是相當容易的，一旦你付出了一些努力，你需要的主要流程操作非常接近原生 Python 語言。
如果您的最終目標是讀取、處理和寫入 BQ，我會說 Beam + Dataflow 是一個很好的搭配。
如何使用 PipelineOptions 告訴數據流“use_unsupported_python_version”？
[英]How can I tell Dataflow to "use_unsupported_python_version" with PipelineOptions?
作業開始后，我可以動態更改 Google Dataflow 中的日志級別嗎？
[英]Can I dynamically alter log levels in Google Dataflow once the job has started?
我可以配置 Google DataFlow 以在排空管道時保持節點正常運行嗎
[英]Can I configure Google DataFlow to keep nodes up when I drain a pipeline
在谷歌雲數據流中使用 experiments=no_use_multiple_sdk_containers
[英]Use Of experiments=no_use_multiple_sdk_containers in Google cloud dataflow
Google Cloud Dataflow 可以在 Go 中沒有外部 IP 地址的情況下運行嗎？
[英]Can Google Cloud Dataflow be run without an external IP address in Go?
如何使用 GCP 雲 SQL 作為數據流源和/或接收器與 Python？
[英]How to use GCP Cloud SQL as Dataflow source and/or sink with Python?
如何使用自定義 Docker 圖像運行 Python Google Cloud Dataflow 作業？
[英]How to run a Python Google Cloud Dataflow job with a custom Docker image?
谷歌雲數據流（Python）：function 讀取和寫入 a.csv 文件？
[英]Google Cloud Dataflow (Python): function to read from and write to a .csv file?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
