簡體   English   中英

如何使用 BigQuery 僅從上傳到雲存儲中的最后一個文件中查詢數據

[英]How do you query data from only the last file uploaded in cloud storage with BigQuery

每天我都會將一個新文件上傳到 Cloud Storage 存儲桶。 該文件存儲為 JSON-NL 格式。 我有一個連接到此存儲桶的 BigQuery 表(設置為外部表)。 每個文件都以上傳日期命名。 如果我只想查詢最近的文件,到目前為止我找到的最佳選擇是解析_FILE_NAME查詢中的 _FILE_NAME 並將其與當前日期匹配。 但是解析有點混亂所以我想知道是否還有其他更好的解決方案。

僅查詢最新文件的其他選項有哪些? 我應該以不同的方式設置它嗎?

沒有更好的解決方案。 使用腳本解析帶有文件名的偽列,獲取最新的一個然后查詢它(使用立即執行)。 目前沒有其他解決方案

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM