Azure Data Lake Store並發
[英]Azure Data Lake Store concurrency
問題描述
我一直在玩Azure Data Lake Store，在文檔中，Microsoft聲稱該系統針對文件的低延遲小寫入進行了優化。 測試它我嘗試對單個文件執行大量的並行任務寫入，但是這種方法在大多數情況下都會失敗，返回錯誤的請求。 此鏈接https://issues.apache.org/jira/secure/attachment/12445209/appendDesign3.pdf顯示HDFS不是為了處理單個文件上的並發附加，所以我嘗試第二次使用找到的ConcurrentAppendAsync方法在API中，雖然方法沒有崩潰，但我的文件從未在商店中修改過。
1 個解決方案
解決方案1
3 已采納 2016-03-11 23:06:17
你發現的是關於並行寫入如何工作的正確性。 我假設您已經閱讀了ConcurrentAppendAsync的文檔 。
那么，在您的情況下，您是否使用相同的文件進行Webhdfs寫入測試和ConcurrentAppendAsync？ 如果是這種情況，那么ConcurrentAppendAsync將不起作用，如文檔中所述。 但在這種情況下你應該有一個錯誤。
無論如何，讓我們知道發生了什么，我們可以進一步調查。
謝謝，
薩欽謝思
程序經理 - Azure Data Lake
在hadoop中，可以通過knox + webhdfs訪問的數據大小是否受到限制？
[英]In hadoop, Is there any limit to the size of data that can be accessed through knox + webhdfs?
無法從 /webhdfs/v1/?op=LISTSTATUS 檢索數據：macOS Monterey 上的服務器錯誤
[英]Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error on macOS Monterey
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
Azure Data Lake Store中的目錄大小
Azure 數據工廠 HDFS 數據集預覽錯誤
Hadoop webhdfs和Azure webhdfs有什么區別
如何將XML數據導入Hadoop
通過webHDFS協議將數據流傳輸到HDFS
知道hadoop中數據節點的磁盤空間嗎？
在hadoop中，可以通過knox + webhdfs訪問的數據大小是否受到限制？
無法從 /webhdfs/v1/?op=LISTSTATUS 檢索數據：macOS Monterey 上的服務器錯誤
我在 Azure HDInsight 上的 webHDFS url 是什么？
如何配置Pig通過WebHDFS訪問數據？
相關標簽