将JSON数组数据从REST数据工厂复制到Azure Blob

Question

我已经使用REST从API和包含数组的JSON输出格式中获取数据。 当我尝试使用复制活动将JSON复制到BLOB时，我仅获取第一个对象数据，其余的被忽略。

在文档中说我们可以通过跳过数据集和复制活动的架构部分来照原样复制JSON。 我遵循相同的方法，并且得到以下输出。

https://docs.microsoft.com/zh-cn/azure/data-factory/connector-rest#export-json-response-as-is

尝试了不使用模式的复制活动，使用标头作为第一行并将文件输出为.json和.txt到BLOB

REST输出样例：

{
  "totalPages": 500,
  "firstPage": true,
  "lastPage": false,
  "numberOfElements": 50,
  "number": 0,
  "totalElements": 636,
  "columns": {
    "dimension": {
      "id": "variables/page",
      "type": "string"
    },
    "columnIds": [
      "0"
    ]
  },
  "rows": [
    {
      "itemId": "1234",
      "value": "home",
      "data": [
        65
      ]
    },
    {
      "itemId": "1235",
      "value": "category",
      "data": [
        92
      ]
    },
    ],
  "summaryData": {
    "totals": [
      157
    ],
    "col-max": [
      123
    ],
    "col-min": [
      1
    ]
  }
}

BLOB输出如下所示：这只是第一个对象数据

totalPages,firstPage,lastPage,numberOfElements,number,totalElements
500,True,False,50,0,636

Answer 1

如果您想按原样编写JSON响应，则可以使用HTTP连接器 。 但是，请注意，HTTP连接器不支持分页。

如果要继续使用REST连接器并编写一个csv文件作为输出，是否可以指定要如何编写嵌套对象和数组？

在csv文件中，我们无法写入数组。 您始终可以使用自定义活动或azure函数活动来调用REST API，以所需的方式对其进行解析并写入csv文件。

希望这可以帮助。