Bigquery 在流式傳輸時無法加載所有數據
[英]Bigquery cannot load all data when streaming
2 個解決方案
解決方案1
0 2022-08-15 10:27:38
“估計行數”只是一個估計值。
BigQuery 中的流式數據是實時可用的（盡管表復制命令最多可能需要 90 分鍾）。 我建議閱讀這篇文章以獲取更多信息。
聽起來您認為自己正在丟失數據。 那不太可能。 我建議檢查您認為插入的內容與實際進入表格的內容。
解決方案2
0 2022-08-17 00:40:41
感謝您的大力支持。 我們發現問題的發生是因為在我們編寫的代碼中，“insertId”應該是唯一的，否則，BQ 會刪除具有相似 insertID 的行。 在代碼中，它發生是因為我們只設置了 insertID = 'rowdetail'。 將其更改為時間插入（ddmmyyhhmmss）后，管道運行正常。
希望對你和大家有幫助
BigQuery 是否可以在完成將文件從 Cloud Storage 上傳到 BQ 或通過 Streaming 插入數據時調用端點？
[英]Is it possible for BigQuery to call an endpoint when it has finished uploading a file from Cloud Storage to BQ or when inserting data via Streaming?
如何在 BigQuery 中加載 shapefile？ 有沒有更簡單的方法在 BigQuery 中上傳多邊形數據？
[英]How to load a shapefile in BigQuery? Is there a simpler way to upload polygon data in BigQuery?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
將數據從 BigQuery 加載到 Snowflake
BigQuery 是否可以在完成將文件從 Cloud Storage 上傳到 BQ 或通過 Streaming 插入數據時調用端點？
刪除列並更新包含流數據的 BigQuery 表
如何將數據從 Google Analytic 流式傳輸到 Bigquery
從 GCS 加載_Csv_data 到 Bigquery
如何在 BigQuery 中加載 shapefile？ 有沒有更簡單的方法在 BigQuery 中上傳多邊形數據？
無法將數據從 CoLab 加載到 Bigquery
GCP - Bigquery 到 Kafka 作為流
BigQuery 加載數據因列名錯誤而崩潰
使用數據流將數據從 MySQL 加載到 BigQuery
相關標簽