當我嘗試使用 DataFactory 將數據從 Azure Blob 復制到 SQL Datawarehouse 時出現異常

Question

我創建了一個管道，它使用 Copy 活動將數據從 Blob 移動到 SQL Datawarehouse。

Azure Blob Dataset:
"name": "TradeData",
  "properties": {
    "type": "AzureBlob",
    "linkedServiceName": "HDInsightStorageLinkedService",
    "structure": [],
    "typeProperties": {
      "folderPath": "hdinsight/hive/warehouse/tradesummary/",
      "format": {
        "type": "OrcFormat"
      }
    },
SQL DW Dataset:
 "name": "TradeDataRepository",
  "properties": {
    "type": "AzureSqlDWTable",
    "linkedServiceName": "AzureSQLDataWarehouseLinkedService",
    "typeProperties": {
      "tableName": "tradesummary"
    },

Pipeline:
"activities": [
      {
        "name": "CopyActivityTemplate",
        "type": "Copy",
        "inputs": [
          {
            "name": "TradeData"
          }
        ],
        "outputs": [
          {
            "name": "TradeDataRepository"
          }
        ],
        "typeProperties": {
          "source": {
            "type": "BlobSource",
            "skipHeaderLineCount": 0
          },
          "sink": {
            "type": "SqlDWSink",
            "allowPolyBase": false
        }

當我執行管道時，出現以下錯誤：

數據庫操作失敗。
來自數據庫執行的錯誤消息： ErrorCode=FailedDbOperation,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Error happened when loading data into SQL Data Warehouse.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=System. Data.SqlClient.SqlException,Message=110802;發生內部 DMS 錯誤導致此操作失敗。 詳細信息：異常：Microsoft.SqlServer.DataWarehouse.DataMovement.Common.ExternalAccess.HdfsAccessException，消息：Java 調用 HdfsBridge_CreateRecordReader 時引發異常：錯誤 [HdfsBridge::CreateRecordReader - 創建記錄讀取器時遇到意外錯誤。] 訪問外部文件時發生 [ /hive/warehouse/tradesummary/000000_0][0].,Source=.Net SqlClient Data Provider,SqlErrorNumber=110802,Class=16,ErrorCode=-2146232060,State=1,Errors=[{Class=16,Number=110802 ,State=1,Message=110802;發生內部 DMS 錯誤導致此操作失敗。 詳細信息：異常：Microsoft.SqlServer.DataWarehouse.DataMovement.Common.ExternalAccess.HdfsAccessException，消息：Java 調用 HdfsBridge_CreateRecordReader 時引發異常：錯誤 [HdfsBridge::CreateRecordReader - 創建記錄讀取器時遇到意外錯誤。] 訪問外部文件時發生 [ /hive/warehouse/tradesummary/000000_0][0].,},],'.

任何指針將不勝感激。

Answer 1

錯誤消息表明問題出在您的接收器（SQL 數據倉庫）上，而不是 ADF 上。 當資源池中的系統 memory 不足時，這可能是一個臨時問題。

要仔細檢查，請嘗試激活和禁用 ADF 復制活動中的“跳過不兼容的行”選項，並進行一些測試運行以查看您是否經常發現問題。

正如wBob在 MSDN 文章中所述，還有其他一些原因可能是當源數據包含位或唯一標識時似乎位問題已解決，但唯一標識符尚未解決。 您能否檢查源數據中是否存在這些數據類型之一。 作為解決方法，可以將 GUID 轉換為 varchar。