使用 Azure 数据湖分析/U-SQL 拆分 1TB 文件
[英]Split 1TB file using Azure Data Lake Analytics / U-SQL
问题描述
我有一个 1TB 的文本文件，其中包含一些文本数据。 我想使用 Azure Data Lake Analytics / U-SQL 将其拆分为更小的数据块。
我怎样才能做到这一点？
1 个解决方案
解决方案1
0 已采纳 2020-05-29 02:46:18
我建议使用 ADF 的 Mapping Data Flow 功能，该功能基于云端 Spark
1.创建一个新的数据流
2.添加源文件
3.通过定义分区添加一个Sink文件夹
4.保存数据流
5.然后添加一个执行数据流活动和 select 你的新文件拆分数据流
在Azure Data Lake Analytics U-SQL中查询Windows Azure存储表
[英]Querying Windows Azure Storage Table in Azure Data Lake Analytics U-SQL
Data Lake Analytics U-SQL EXTRACT速度（本地与Azure）
[英]Data Lake Analytics U-SQL EXTRACT speed (Local vs Azure)
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Azure Data Lake分析中U-SQL中的R
U-SQL Azure Data Lake Analytics按日期搜索文件
使用数据湖分析复制数据-U-SQL
Azure Data Lake中的U-SQL输出
在Azure Data Lake Analytics U-SQL中查询Windows Azure存储表
Data Lake Analytics U-SQL EXTRACT速度（本地与Azure）
通过Azure Data Lake使用U-SQL将JSON嵌套到CSV
U-SQL（Azure Data Lake语言）脚本错误
Azure数据湖上的U-SQL作业中的错误
Google的BigQuery vs Azure数据湖U-SQL
相关标签