[英]Copy last added file to a GCS bucket into Azure Blob storage
我对 Azure 数据工厂非常陌生，所以请原谅我的愚蠢或明显的问题。
我想每天安排一次存储在 Azure Blob Storage 中的 GCS 存储桶中的复制文件。 到目前为止，我设法从 GCS 中的存储桶中复制（手动和通过调度管道的活动）文件，我在其中手动上传文件。
在不久的将来，上传将在每天的给定时间自动进行一次，大概是在晚上。 我的目标是仅安排最后添加的文件的副本，并避免每次都复制所有文件，覆盖现有文件。
这需要编写一些 python 脚本吗？ 有什么参数可以设置吗？
提前感谢大家的回复。
不需要任何显式编码。 Adf 支持简单的复制活动，将数据从 gcs 移动到 blob 存储，其中 gcs 将充当源，而 blob 存储将充当复制活动中的接收器。
https://docs.microsoft.com/en-us/azure/data-factory/connector-google-cloud-storage?tabs=data-factory
要获取最新文件，您可以使用获取元数据活动来获取文件列表并过滤最新文件
如何获取最后一个文件最后一个文件存放在gcs存储桶中（python）
[英]How to get the last file last file deposited in a gcs bucket (python)
将文件从 Azure blob 存储移动到 Google 云存储桶
[英]Moving Files from Azure blob storage to Google cloud storage bucket
How to access a GCS Blob that contains an xml file in a bucket with the pandas.read_xml() function in python?
[英]How to access a GCS Blob that contains an xml file in a bucket with the pandas.read_xml() function in python?
将 XML 从 GCS Blob 存储转换为不适用于特殊字符的字符串
[英]Converting an XML from GCS Blob storage to String not working for special characters
验证文件路径的 Google Cloud Storage bucket.get_blob 返回 None
[英]Google Cloud Storage bucket.get_blob to verified file path returns None
如何从 gcs 存储桶中解压缩 tsv 文件并将其加载到 Bigquery
[英]How to unzip and load tsv file into Bigquery from gcs bucket
如何将特定日期创建的所有文件从一个存储桶复制到 GCS 中的另一个存储桶？
[英]How to copy all the files created on a specific date from one bucket to another in GCS?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
