簡體 English 中英

與Pig有效地合並2個排序的文件

[英]merging 2 sorted files efficiently with pig

原文 2011-12-13 10:41:32 1 2 hadoop/ apache-pig

我的HDFS 2數據集具有完全相同的結構，並且都按相同的鍵排序。 我想將它們合並到按該鍵排序的一個大數據集中。

現在我知道pig具有有效的merge-join（http://wiki.apache.org/pig/PigMergeJoin），它也具有有效的merge-sort嗎？

合並聯接的輸出將是單個排序列表。 因此您不需要單獨的排序。

也許智能加載器（如Zebra ）可以為每個地圖的索引創建正確的分割，而COGROUP USING 'merge'后跟“ GENERATE group的COGROUP USING 'merge'仍然保持順序？

如果不是這樣，在這種情況下， UNION USING 'merge'創建新的UNION USING 'merge'將是完美的！

[英]Merging two files using Pig

[英]Merging similar groups in concatenated PIG input files

[英]Merging Multiple Relation in PIG

[英]Merging two datasets in Pig

[英]Merging Part file in PIG

[英]Pig perform intersection of 2 bags which are sorted

[英]PIG: how to efficiently LOAD and FILTER a large dataset?

[英]Loading Multiple Files in PIG

[英]Concatinating files with Timestamp in PIG

[英]Read files with pattern in PIG

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 使用 Pig 合並兩個文件合並串聯的PIG輸入文件中的相似組在PIG中合並多重關系合並Pig中的兩個數據集在PIG中合並零件文件豬進行2個袋的相交 PIG：如何有效地加載和過濾大型數據集？在PIG中加載多個文件在PIG中使用時間戳記合並文件在PIG中讀取帶有模式的文件

相關標簽