豬加載多個順序文件

Question

假設一個目錄中有多個文件，如果將目錄傳遞給Pig Load A = LOAD '/SomeDir/' ，它將一次加載所有文件（我想以任何順序。我不確定）。 但是考慮到文件名是否是動態的並且是否也按順序排列（例如根據日期），一個調用Pig的順序如何？ 或者可以使用ls來使用unix list directory命令？

/SomeDir$ls

20150101.csv
20150102.csv
20150104.csv
.......

#Pig load files at once while keeping the order 

Answer 1

Pig LOAD語句用於從指定位置讀取輸入數據。 假設您的pig命令是：

A = load '/data/examples/file.txt';

這意味着您要指定從file.txt中讀取數據，該文件位於/data/examples/

假設您的pig命令為： A = load '/data/examples/'; 在目錄中有多個文件，例如

20150101.csv
20150102.csv
20150104.csv

這意味着您指定要從以下目錄中讀取數據： /data/examples/在這種情況下，Pig將在您指定的目錄下找到所有文件，並將它們用作該load語句的輸入，並按順序進行讀取，開始從第一個文件開始。

如果您指定的目錄還有其他目錄，則這些目錄中的文件也將包括在內。

以下鏈接將有助於深入了解LOAD功能。

http://pig.apache.org/docs/r0.8.1/udf.html#Load+Functions

http://chimera.labs.oreilly.com/books/1234000001811/ch05.html#pl_load

http://pig.apache.org/docs/r0.8.1/piglatin_ref2.html#LOAD