[英]Azure Data Factory Copy Data schema mapping with sink Datalake
I have a simple pipeline , with copydata.我有一个简单的管道,带有复制数据。 I am trying to pull data from sql to data lake .我正在尝试将数据从 sql 提取到数据湖。 I have created two datasets one for sql and other for datalake.我创建了两个数据集,一个用于 sql,另一个用于 datalake。
Data lake schema are defined in dataset are overridden when we run the pipeline and columns have string data type.当我们运行管道并且列具有字符串数据类型时,在数据集中定义的数据湖模式会被覆盖。
I tried to change the schema data type here and after running the pipelines they are overridden in datasets.我尝试在此处更改架构数据类型,并在运行管道后在数据集中覆盖它们。
When we copy data from SQL to Azure Data Lake Storage, no matter what the column data type is in SQL Source dataset, it all will change to String in Data Lake Storage Sink dataset.当我们将数据从 SQL 复制到 Azure Data Lake Storage 时,无论 SQL Source 数据集中的列数据类型是什么,在 Data Lake Storage Sink 数据集中都会变成 String。 Sink dataset will create a flat file(txt, json and so on) to store the data. Sink 数据集将创建一个平面文件(txt、json 等)来存储数据。
For example, when you copy data from a csv file as Source dataset, import the schema from source file, all the column data types are String.例如,当您从 csv 文件复制数据作为源数据集时,从源文件导入架构时,所有列数据类型都是字符串。 We only can change these String column data type during SQL Sink dataset schema mapping.我们只能在 SQL Sink 数据集模式映射期间更改这些 String 列数据类型。
We can not not change the data types for datesets when using sink as Data lake Storage.使用 sink 作为数据湖存储时,我们不能更改日期集的数据类型。
Hope this helps.希望这可以帮助。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.