使用 Azure DataFactory 管道将已读取的 Avro 文件从一个目录移动到另一个目录
[英]Moving already read Avro Files from One Directory to Another Using Azure DataFactory Pipeline
原文
2022-03-02 17:22:47
5
1
azure/
azure-data-factory/
azure-data-factory-pipeline/
azure-eventhub-capture
问题描述
我有一个 Eventhub Capture，它每 15 分钟发出一次Avro 文件。 我可以使用 Azure 数据工厂数据流成功读取这些文件，但是一旦我使用 Azure 数据工厂数据流完成读取这些文件，我该如何移动这些文件？
将会有新文件进入，我不想将新文件仅将已处理的文件移动到存档文件夹中。
我尝试执行 GetMetadata 活动然后删除，但它似乎无法在目录中准备好 Avro 文件。 可能是我遗漏了什么。
谢谢
1 个解决方案
解决方案1
2 已采纳 2022-03-02 18:59:00
数据流可以有机地处理这个问题：
当我尝试使用 DataFactory 将数据从 Azure Blob 复制到 SQL Datawarehouse 时出现异常
[英]Getting exception when i try to copy data from Azure Blob to SQL Datawarehouse using DataFactory
Azure ML Studio Designer - 是否可以将管道或管道草图从一个工作区复制到另一个工作区？
[英]Azure ML Studio Designer - Is it possible to copy pipeline or pipeline drafts from one workspace to another?
“只读模式”中的 azure function - 来自 zip 的 AzureDevops 管道部署
[英]azure function in 'read only mode' - AzureDevops pipeline deployment from zip
将 terraform 配置文件移动到单独的目录中，将它们从计划中删除
[英]Moving terraform configuration files into separate directory removes them from the plan
将文件从 Azure blob 存储移动到 Google 云存储桶
[英]Moving Files from Azure blob storage to Google cloud storage bucket
Laravel 将文件从一个磁盘移动到另一个磁盘 - 使用“存储”
[英]Laravel move files from one disk to another disk - using `Storage`
将 blob 从一个 Azure 容器复制到另一个使用 ASP.NET Core 6.0 MVC 和 C#
[英]Copy blobs from one Azure container to another using ASP.NET Core 6.0 MVC with C#
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
在 GCS 中将文件从一个存储桶移动到另一个存储桶
如果管道失败，如何停止触发器 Azure Datafactory
当我尝试使用 DataFactory 将数据从 Azure Blob 复制到 SQL Datawarehouse 时出现异常
Azure ML Studio Designer - 是否可以将管道或管道草图从一个工作区复制到另一个工作区？
“只读模式”中的 azure function - 来自 zip 的 AzureDevops 管道部署
将 terraform 配置文件移动到单独的目录中，将它们从计划中删除
将文件从 Azure blob 存储移动到 Google 云存储桶
Laravel 将文件从一个磁盘移动到另一个磁盘 - 使用“存储”
将 blob 从一个 Azure 容器复制到另一个使用 ASP.NET Core 6.0 MVC 和 C#
XSLT Azure DevOps 管道中 XML 个文件的转换
相关标签