使用 azure 數據塊 scala 將數據從 blob 存儲加載到 sql 數據倉庫

Question

我正在嘗試使用 azure 數據塊 scala 將數據從 blob 存儲加載到 SQL 數據倉庫中。

spark.conf.set("spark.sql.parquet.writeLegacyFormat","true")    
df.write.format("com.databricks.spark.sqldw")
.option("url",sqlDwUrlSmall)
.option("dbtable", "Person")        
.option("forward_spark_azure_storage_credentials","True")
.option("tempdir",tempDir).mode("overwrite").save()

我收到此錯誤

Underlying SQLException(s): - com.microsoft.sqlserver.jdbc.SQLServerException: External file access failed due to internal error: 'Error occurred while accessing HDFS: Java exception raised on call to HdfsBridge_IsDirExist. Java 異常消息：HdfsBridge::isDirExist - 檢查目錄是否存在時遇到意外錯誤：StorageException：此請求無權執行此操作。 [錯誤代碼 = 105019] [SQLState = S0001]

Answer 1

使用 azure 數據塊 scala 將數據從 blob 存儲成功加載到 sql 數據倉庫。

• 確保通過正確的路徑。

• 確保傳遞“tempDir”，如下面的格式所示。

tempDir = "wasbs://" + blobContainer + "@" + blobStorage +"/tempDirs"

參考： 加載數據到Azure SQL數據倉庫

希望這可以幫助。