簡體   English   中英

Bigquery 加載作業表示成功但數據未加載到表中

[英]Bigquery load job said successful but data did not get loaded into table

我提交了一個 Bigquery 加載作業,它運行並以成功狀態返回。 但是數據沒有進入目標表。

這是運行的命令:

/usr/local/bin/bq load --nosynchronous_mode --project_id=ardent-course-601 --job_id=logsToBq_load_impressions_20140816_1674a956_6c39_4859_bc45_eb09db7ef99a --source_format=NEWLINE_DELIMITED_JSON dw_logs_impressions.impressions_20140816 gs://sm-uk-hadoop/queries/logsToBq_transformLogs/impressions/20140816/9307f6e3-0b3a-44ca-8571-7107c399998c/part* /opt/sm-analytics/projects/logsTobqMR/jsonschema/impressionsSchema.txt

我檢查了作業 logsToBq_load_impressions_20140816_1674a956_6c39_4859_bc45_eb09db7ef99a 的作業狀態。 輸入文件數和大小顯示了正確的輸入文件數和總大小。

有誰知道為什么數據沒有進入表格但工作報告為成功?

以防萬一這不是我們這邊的錯誤,我再次運行了加載作業,但加載到另一個目標表,這次數據進入目標表很好。

謝謝你。

這非常令人驚訝,但我已經通過日志確認情況確實如此。

不幸的是,8 月 16 日運行的這項作業的詳細日志不再可用。 我們正在調查這是否可能影響最近的其他工作。 如果您再次看到此問題,請 ping 此線程。

我最近在沙盒模式下使用 BigQuery 時遇到了這種情況,而沒有結算帳戶。 在這種模式下,分區過期時間自動設置為 60 天。 如果您將數據加載到分區列(例如日期)早於 60 天的表中,它將不會顯示在表中。 加載作業仍然成功,輸出行數正確。

我們的系統中遇到了這個問題,原因是表的分區到期時間設置為 30 天,並且表在時間戳列上進行了分區。因此,當有人攝取早於分區到期日期的數據時,bigquery 加載作業已成功完成Spark,但我們在攝取表中看不到任何數據……因為它在攝取后立即被刪除……由於設置了分區到期。

請檢查您的 bigquery 表分區到期參數並查看傳入數據的分區列值。 如果它的值低於分區到期時間。你將不會在 bigquery 表中看到數據。它會在攝取后立即被刪除。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM