Append 新行到 Azure blob 中的 csv 文件使用 Azure 数据工厂
[英]Append new rows to csv file in Azure blob using Azure Data Factory
问题描述
I have a pipeline, which iterates through the query parameters of a REST API and I am using parameters to pass them in the relative URL. When I dont specify any file name in the sink, the pipeline creates new csv for each record and when I specify the file name, it is overwritten everytime.
我有一个管道，它遍历 REST API 的查询参数，我使用参数将它们传递给相对的 URL。当我没有在接收器中指定任何文件名时，管道会为每条记录创建新的 csv，当我指定文件名，每次都会被覆盖。
Is there any way around this?有没有办法解决？
1 个解决方案
解决方案1
1 2022-05-20 06:44:34
Appending rows to the existing file is currently not supported using the Azure data factory.目前不支持使用 Azure 数据工厂将行附加到现有文件。
You can raise a feature request from ADF portal feedback.您可以从 ADF 门户反馈中提出功能请求。
As a workaround,作为解决方法，
• You can copy data to different files each time. • 您可以每次将数据复制到不同的文件。
• Add another copy activity to merge all the files into a single file. • 添加另一个复制活动以将所有文件合并到一个文件中。
• Delete all other files generated initially except the final merged file using delete activity. • 使用删除活动删除最初生成的所有其他文件，但最终合并的文件除外。
Refer to this link for details on merging the files.有关合并文件的详细信息，请参阅此链接。
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.