[英]How do you query data from only the last file uploaded in cloud storage with BigQuery
每天我都會將一個新文件上傳到 Cloud Storage 存儲桶。 該文件存儲為 JSON-NL 格式。 我有一個連接到此存儲桶的 BigQuery 表(設置為外部表)。 每個文件都以上傳日期命名。 如果我只想查詢最近的文件,到目前為止我找到的最佳選擇是解析_FILE_NAME
查詢中的 _FILE_NAME 並將其與當前日期匹配。 但是解析有點混亂所以我想知道是否還有其他更好的解決方案。
僅查詢最新文件的其他選項有哪些? 我應該以不同的方式設置它嗎?
沒有更好的解決方案。 使用腳本解析帶有文件名的偽列,獲取最新的一個然后查詢它(使用立即執行)。 目前沒有其他解決方案
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.