简体繁体 English

Azure 数据工厂管道在我们使用派生列表达式生成器时无法使用 cosmos DB 工作，它不超过 19 列

[英]Azure Data Factory pipeline not working using cosmos DB while we use derived column expression builder,its not take morethan 19 column

原文 2022-07-09 12:56:40 8 1 azure/ azure-pipelines/ azure-cosmosdb/ azure-data-factory-pipeline

I have a csv file with comma delimeter.I tried to insert these file file data to cosmos databse.我有一个带有逗号分隔符的 csv 文件。我试图将这些文件文件数据插入到 cosmos 数据库中。

This is my expression builder:- @(A=A,B=B,C=C,D=D,E=E,F=F,G=G,H=H,I=I,J=J,K=K,L=L,M=M,N=N,O=O,P=P,Q=Q,R=R,S=S,T=T,U=U,V=V) When i used upto 15 its working means upto O.If i used all value its not working.Pipeline is runing infinetly,I have check upto 4hours stil pipeline running.File contains only one row.这是我的表达式生成器：- @(A=A,B=B,C=C,D=D,E=E,F=F,G=G,H=H,I=I,J=J,K =K,L=L,M=M,N=N,O=O,P=P,Q=Q,R=R,S=S,T=T,U=U,V=V) 当我使用最多 15 它的工作方式最多 O。如果我使用了所有值，它不工作。管道正在无限运行，我检查了 4 小时 stil 管道运行。文件只包含一行。

1 个解决方案

I reproduced this and faced the same issue despite increasing the data flow runtime cores.尽管增加了数据流运行时内核，但我重现了这一点并面临同样的问题。 But you can try this alternate workaround for this.但是您可以为此尝试这种替代解决方法。

First Transform the csv file into new container of blob storage as a JSON file.首先将 csv 文件作为 JSON 文件转换为新的 blob 存储容器。 Then use a copy activity to copy it to azure cosmos db .然后使用复制活动将其复制到 azure cosmos db 。

Create a JSON dataset with the new container but without any filename as dataflow will create part JSON file in the container and give it Dataflow sink.使用新容器创建一个 JSON 数据集，但没有任何文件名，因为数据流将在容器中创建部分 JSON 文件并为其提供数据流接收器。

Now, in the pipeline use copy activity and give the same JSON dataset as source for it.现在，在管道中使用复制活动并提供相同的 JSON 数据集作为它的源。 Use wildcard path to specify JSON files ( *.json )as we can have only one file that is JSON generated from dataflow.使用通配符路径指定 JSON 文件 ( *.json )，因为我们只能拥有一个从数据流生成的 JSON 文件。

Give the cosmos db dataset as sink for copy activity .将cosmos db 数据集作为复制活动的接收器。 After execution, it will create a JSON file in the blob then copies this content to cosmos db.执行后，它将在 blob 中创建一个 JSON 文件，然后将此内容复制到 cosmos db。

JSON file in blob: Blob 中的 JSON 文件：

Cosmos db data: Cosmos 数据库数据：

NOTE: This approach might also result as InProgress if you are using the same Azure Integration runtime for the dataflow debug with small cores.注意：如果您使用相同的 Azure 集成运行时进行具有小内核的数据流调试，则此方法也可能导致 InProgress 。

In that case try to create a new Azure integration run time with higher cores and use it for dataflow debug.在这种情况下，请尝试创建具有更高内核的新 Azure 集成运行时，并将其用于数据流调试。
Please check How to create and configure Azure Integration Runtime .请查看如何创建和配置 Azure 集成运行时。

After creation, go to Monitor and click on it and change the cores like this and check with dataflow.创建后，转到 Monitor 并单击它并像这样更改核心并检查数据流。