Dataprep-輸出為BigQuery時，數據流失敗

Question

作為POC的一部分，我試圖通過Dataprep進行一些數據質量檢查。 有一個BigQuery表作為源，它應該運行一個作業，並輸出到另一個BigQuery。 不幸的是，該作業失敗並出現錯誤：

java.lang.RuntimeException: Failed to create job with prefix beam_load_[thenameofthejob], reached max retries: 3, last failed job: null.
   at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJob.runJob(BigQueryHelpers.java:196)
   at org.apache.beam.sdk.io.gcp.bigquery.BigQueryHelpers$PendingJobManager.waitForDone(BigQueryHelpers.java:149)
   at org.apache.beam.sdk.io.gcp.bigquery.WriteTables$WriteTablesDoFn.finishBundle(WriteTables.java:255) .

請問您如何解決這個問題？

我已經編輯了配方，並沒有在那里設置任何轉換，只是為了查看作業是否運行-再次失敗。 當我將此dataprep數據流輸出到csv中時，它起作用。 它全部在歐盟地區運行。

Answer 1

嘗試轉到bigquery頁面，然后轉到任務歷史記錄。 后續步驟是轉到任務歷史記錄內的選項卡項目歷史記錄。 嘗試失敗時，您會在此處找到紅色的感嘆號。 如果單擊該案例，將看到該案例的特定錯誤消息。

就我而言，這是不同的位置，但是您的位置很好，所以據我所能估計。 希望對您有幫助。