[英]Google Cloud DataStream to Bigquery template not able to sync data to big query
我正在嘗試使用 GCP 上的 DataStreams 和 Dataflow 將 CDC 管道設計到 stream 數據從雲 SQL 到 BigQuery，數據流部分工作正常，我可以看到數據以 avro 格式成功傳輸到 CloudStorage。
當談到 DataFlow 時，我使用 DataFlow Template DataStream to BigQuery與屏幕截圖中的配置
我可以在日志中看到 DataFlow 作業已啟動並運行且沒有錯誤，但我看不到從 Cloud Storage 到 BigQuery 的任何數據傳輸。
在我看來，缺少一些東西，這是雲存儲和 Pub/Sub 之間的鏈接，我認為應該有一個鏈接到 stream 的數據，從 GCS 到 Pub/Sub，最終從 Pub/Sub 到 BQ 的 DataFlow stream ， 不？
我在這里缺少什么？
我這邊缺少的東西是使用 blow 命令在 GCS 和 Pub/Sub 之間建立鏈接
gsutil notification create -f "none" -p "db/" -t "datastream" "gs://my-buk"
Google Cloud Function 無法刪除 Bigquery 數據集
[英]Google Cloud Function Not able to delete Bigquery Dataset
Google Cloud DataStream 失敗，原因代碼：BIGQUERY_UNSUPPORTED_PRIMARY_KEY_CHANGE
[英]Google Cloud DataStream failing with reason code: BIGQUERY_UNSUPPORTED_PRIMARY_KEY_CHANGE
數據流配置不適用於 Cloud SQL PostgreSQL 作為源和 BigQuery 作為目標
[英]Datastream configuration not working for Cloud SQL PostgreSQL as source and BigQuery as destination
將 Python 腳本轉換為 Google Cloud Function：將 Search Console 數據導出到 Big Query
[英]Convert a Python Script into Google Cloud Function: Exporting Search Console data into Big Query
我們如何查看由 Google Cloud BigQuery 執行的查詢計划？
[英]How do we see a query plan executed by Google Cloud BigQuery?
將數據上傳到 BigQuery 的 Google Cloud Function 的服務帳戶角色
[英]Service account role for a Google Cloud Function that uploads data to BigQuery
無法在 Airflow 2.0 中使用“from airflow.providers.google.cloud.operators.bigquery import BigQueryOperator”
[英]Not being able to use 'from airflow.providers.google.cloud.operators.bigquery import BigQueryOperator' in Airflow 2.0
如何使用 Python 自動將文件從 Google Cloud Storage 上傳到 Big Query？
[英]How to automate file uploads from Google Cloud Storage to Big Query using Python?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
