為每個映射器hadoop在內存中加載相同的文件
[英]Loading the same file in memory for each mapper hadoop
問題描述
我遇到了一種算法，其中，每個映射器都將相同的文件加載到主存儲器中。
我認為，對於每個映射器，我們必須使用分布式緩存來獲取文件，讀取文件並將其加載到內存中。 實施此操作后，我發現地圖需要很長時間才能完成。 我假設這是因為，每次從本地磁盤讀取每個映射器值時都會讀取文件。
我執行正確嗎？
還有其他建議嗎？
請幫助！ 提前致謝！
1 個解決方案
解決方案1
1 已采納 2012-11-02 03:21:51
您要在Mapper setup（）方法中從本地磁盤讀取。 使用實例變量來保留引用。
如何使每個hadoop映射器獲取文件對，即整個輸入文件（.csv）和整個元數據文件（.json）
[英]How to make each hadoop mapper to get a file pair i.e. a whole input file (.csv) and a whole meta data file (.json)
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.