[英]Copy Data from Azure Data Lake to SnowFlake without stage using Azure Data Factory
将数据从 Azure Data Lake Gen 2 复制到 SnowFlake 的所有 Azure 数据工厂示例都使用存储帐户作为阶段。 如果未配置阶段（如图所示），即使我的源是 Azure 数据湖中的 csv 文件，我也会在数据工厂中收到此错误 - “仅当源数据集为 DelimitedText、Parquet 时才支持将数据直接复制到 Snowflake， JSON 与 Azure Blob Storage 或 Amazon S3 链接服务，对于其他数据集或链接服务，请启用暂存”。
同时，SnowFlake 文档说外部阶段是可选的。 如何在没有外部存储帐户作为阶段的情况下使用数据工厂的复制数据活动将数据从 Azure Data Lake 复制到 SnowFlake？ 如果需要临时存储来使其工作，我们不应该说支持从 Data Lake 到 SnowFlake 的数据复制。 仅当首先将 Data Lake 数据复制到存储 blob 中，然后复制到 SnowFlake 时，它才有效。
您必须配置 blob 存储并将其用作暂存。 作为替代方案，您可以使用外部舞台。 您必须创建文件类型和通知集成并访问 ADLS 并使用复制命令将数据加载到雪花中。 如果您需要更多帮助，请告诉我。
虽然 Snowflake 支持 blob 存储、Data Lake 存储 Gen2、通用 v1 和 v2 存储，但 支持将数据加载到雪花中 - 仅通过 blob 存储。
源链接服务是具有共享访问签名身份验证的 Azure Blob 存储。 如果要以以下支持的格式直接从 Azure Data Lake Storage Gen2 复制数据，可以针对 ADLS Gen2 帐户创建具有 SAS 身份验证的 Azure Blob 链接服务，以避免使用分阶段复制到 Snowflake。
在链接服务中选择 Azure blob 存储，提供Azure data lake gen2源文件的SAS URI详细信息。
Blob 存储链接服务与数据湖 gen2 文件：
无法使用数据工厂管道将数据从 azure 数据湖 gen2 复制到 azure sql db
[英]Cannot copy data from azure data lake gen2 to azure sql db using data factory pipeline
使用数据工厂创建一个管道，将活动从天蓝色的Blob存储复制到数据湖存储
[英]create a pipeline using data factory with copy activity from azure blob storage to data lake store
使用Azure数据工厂（ADF）仅从Azure Data Lake存储中复制最新文件
[英]Copy only the latest file from azure data lake store with Azure Data Factory (ADF)
使用Azure Data Factory将HTTP端点中的数据加载到Azure Data Lake中
[英]Data from HTTP endpoint to be loaded into Azure Data Lake using Azure Data Factory
使用Azure Data Factory将数据从Data Lake Store（JSON文件）移动到Azure搜索
[英]Move data from Data Lake Store (JSON file ) to Azure Search using Azure Data Factory
使用Azure Data Factory将数据从SAP BW复制到Azure Data Lake Store
[英]Copying Data from SAP BW to Azure Data Lake Store using Azure Data Factory
如何使用 Azure 数据工厂将新文件或更新文件从 Azure 数据湖推送到文件夹
[英]How to push new or updated files from Azure Data lake to File folder using Azure Data Factory
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
