檢查表是否存在：Spark bigquery connector

Question

我正在使用 spark bigquery 連接器從 Bigquery 讀取數據。 https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example在從表中讀取之前需要檢查表是否存在。 否則 API 會拋出錯誤

"Not found: Table sample_proj:sample_dataset.table"

有沒有一種方法可以在 spark bigquery 連接器中處理這個問題。

謝謝

Answer 1

到目前為止，bigquery 中的錯誤（例如：表不存在或權限問題）不會使 spark 應用程序退出或停止。 這將是一個問題。 所以為了避免你可以把任務分成兩部分，比如檢查表是否存在。 並將火花處理成單獨的任務。

Answer 2

正在使用 spark bigquery 連接器從 Bigquery 讀取數據。 https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example在讀取表之前需要檢查表是否存在。 否則 API 會拋出錯誤

"Not found: Table sample_proj:sample_dataset.table"

有沒有辦法在 spark bigquery 連接器中處理這個問題。

謝謝