使用 Databricks 将数据写入 Bigquery 时出错 Pyspark

Question

我每天运行一项工作，使用 Databricks Pyspark 将数据写入 BigQuery。最近更新了 Databricks ( https://docs.databricks.com/data/data-sources/google/bigquery.html ) 的配置，这导致了这项工作失败。 我遵循了文档中的所有步骤。 读取数据再次工作但写入会引发以下错误： java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS not found

我也尝试在代码中添加配置（如 Spark 中的类似错误所建议的那样），但它没有帮助：

spark._jsc.hadoopConfiguration().set('fs.gs.impl', 'com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem')
spark._jsc.hadoopConfiguration().set('fs.gs.auth.service.account.enable', 'true')
spark._jsc.hadoopConfiguration().set('google.cloud.auth.service.account.json.keyfile', "<path-to-key.json>")

我的代码是：

upload_table_dataset = 'testing_dataset'
upload_table_name = 'testing_table'
upload_table = upload_table_dataset + '.' + upload_table_name

(import_df.write.format('bigquery') 
  .mode('overwrite') 
  .option('project', 'xxxxx-test-project')
  .option('parentProject', 'xxxxx-test-project')
  .option('temporaryGcsBucket', 'xxxxx-testing-bucket') 
  .option('table', upload_table) 
  .save()
)

Answer 1

您需要先在集群上安装 GCS 连接器