在Pig中加載多個文件-擴展

Question

請幫幫我...我花了很多時間在此上。

我在一個文件夾中有文件，希望在其中根據文件名的順序加載它們。

我什至還擴展了編寫Java代碼以轉換文件名以匹配以下鏈接中的指南格式的內容。

1. 在Pig中加載多個文件
2. Pig Latin：從日期范圍（目錄結構的一部分）加載多個文件
3. http://netezzaadmin.wordpress.com/2013/09/25/passing-parameters-to-pig-scripts/

我正在使用豬11.0

在我的script.pig中，

    set io.sort.mb 10;
    REGISTER 'path_to/lib/pig/piggybank.jar';

    data_ = LOAD '$input' USING org.apache.pig.piggybank.storage.XMLLoader('Data') AS (data_:chararray);
    DUMP data_;

帶殼

    [root@servername currentfolder]# pig -x local script.pig -param input=/20131217/{1..10}.xml

返回錯誤：

    [main] ERROR.org.apache.pig.Main - ERROR 2999: Unexpected error. Undefined parameter : input

Answer 1

我不知道為什么要使用輸入參數。

例如，要加載文件夾MyFolder / CurrentDate /（YYYYMMDD格式）中的每個文件，我正在使用以下腳本：

%default DATE `date  +%Y%m%d`;
x_basic_table = LOAD '/MyFolder/$DATE';

好天氣