Azure Data Lake Store并发
[英]Azure Data Lake Store concurrency
问题描述
我一直在玩Azure Data Lake Store，在文档中，Microsoft声称该系统针对文件的低延迟小写入进行了优化。 测试它我尝试对单个文件执行大量的并行任务写入，但是这种方法在大多数情况下都会失败，返回错误的请求。 此链接https://issues.apache.org/jira/secure/attachment/12445209/appendDesign3.pdf显示HDFS不是为了处理单个文件上的并发附加，所以我尝试第二次使用找到的ConcurrentAppendAsync方法在API中，虽然方法没有崩溃，但我的文件从未在商店中修改过。
1 个解决方案
解决方案1
3 已采纳 2016-03-11 23:06:17
你发现的是关于并行写入如何工作的正确性。 我假设您已经阅读了ConcurrentAppendAsync的文档 。
那么，在您的情况下，您是否使用相同的文件进行Webhdfs写入测试和ConcurrentAppendAsync？ 如果是这种情况，那么ConcurrentAppendAsync将不起作用，如文档中所述。 但在这种情况下你应该有一个错误。
无论如何，让我们知道发生了什么，我们可以进一步调查。
谢谢，
萨钦谢思
程序经理 - Azure Data Lake
在hadoop中，可以通过knox + webhdfs访问的数据大小是否受到限制？
[英]In hadoop, Is there any limit to the size of data that can be accessed through knox + webhdfs?
无法从 /webhdfs/v1/?op=LISTSTATUS 检索数据：macOS Monterey 上的服务器错误
[英]Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error on macOS Monterey
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Azure Data Lake Store中的目录大小
Azure 数据工厂 HDFS 数据集预览错误
Hadoop webhdfs和Azure webhdfs有什么区别
如何将XML数据导入Hadoop
通过webHDFS协议将数据流传输到HDFS
知道hadoop中数据节点的磁盘空间吗？
在hadoop中，可以通过knox + webhdfs访问的数据大小是否受到限制？
无法从 /webhdfs/v1/?op=LISTSTATUS 检索数据：macOS Monterey 上的服务器错误
我在 Azure HDInsight 上的 webHDFS url 是什么？
如何配置Pig通过WebHDFS访问数据？
相关标签