簡體 English 中英

在reduce階段工作時如何開始map階段

[英]How to start the map phase while the reduce phase is working

原文 2012-08-17 16:03:11 2 1 java/ hadoop/ reduce/ mapper

我有這種情況。 JobA和JobB。 在仍然有效的情況下，是否有機會使用JobA reduce階段提供的數據來啟動JobB映射階段？

謝謝！

1 個解決方案

我唯一想到的就是擁有一個線程（從驅動程序類開始），該線程可以永久檢查JobA的輸出目錄。 創建並完全編寫了一部分特定的r-xxxx文件后，您可以啟動JobB，並輸入該特定部分r-xxxx的文件。

我現在可以確定的唯一問題是與檢查part-r-xxxx文件是否已完全寫入有關的問題。

在hadoop的地圖階段之后，reduce階段如何工作

[英]How reduce phase works after map phase in hadoop

Hadoop Map Reduce CustomRecordReader縮減階段

[英]Hadoop Map Reduce CustomRecordReader Reduce Phase

MapReduce 職位：我怎么收<text, intwritable>在 Map 階段和 output<text, text> 在減少階段？</text,></text,>

[英]MapReduce Job: How do I take in <Text, IntWritable> during Map phase and output <Text, Text> in Reduce phase?

MongoDB的還原階段未按預期工作

[英]MongoDB's reduce-phase is not working as expected

如何衡量Hadoop中每個階段（映射，隨機播放/排序，縮小）的持續時間？

[英]How can I measure the duration of each phase(map, shuffle/sort, reduce) in Hadoop?

Hadoop：測量每個階段的持續時間（映射，隨機/排序，減少）

[英]Hadoop: Measuring the duration of each phase(map, shuffle/sort, reduce)

Hadoop完全跳過了減少階段

[英]Hadoop is skipping reduce phase entirely

在還原階段更改密鑰

[英]Changing key during reduce phase

如何在Xvfb上啟動mvn測試階段？

[英]How do I start mvn test phase on Xvfb?

Hadoop：Reduce 階段開始：FileNotFoundException 輸出/file.out.index 不存在

[英]Hadoop: Start of Reduce phase: FileNotFoundException output/file.out.index does not exist

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 在hadoop的地圖階段之后，reduce階段如何工作 Hadoop Map Reduce CustomRecordReader縮減階段 MapReduce 職位：我怎么收<text, intwritable>在 Map 階段和 output<text, text> 在減少階段？</text,></text,> MongoDB的還原階段未按預期工作如何衡量Hadoop中每個階段（映射，隨機播放/排序，縮小）的持續時間？ Hadoop：測量每個階段的持續時間（映射，隨機/排序，減少） Hadoop完全跳過了減少階段在還原階段更改密鑰如何在Xvfb上啟動mvn測試階段？ Hadoop：Reduce 階段開始：FileNotFoundException 輸出/file.out.index 不存在

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM