如何在Pig中跟踪文件组合过程

Question

当我运行加载大量小文件的Pig作业时，此步骤会暂停很长时间：

2013-07-15 16:44:00,464 [JobControl] INFO  org.apache.hadoop.mapreduce.lib.input.FileInputFormat - Total input paths to process : 4277
2013-07-15 16:44:00,465 [JobControl] INFO  org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil - Total input paths to process : 4277
2013-07-15 16:48:51,314 [JobControl] INFO  org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil - Total input paths (combined) to process : 37

在此期间，我在作业跟踪器中看不到地图缩小作业，因此我假设Pig正在发出HDFS命令来预合并文件（也许是？）。 有时，这份工作似乎永远挂在那里，没有任何可解释的原因。

有什么方法可以监视此合并过程的进度（请参阅有关其当前操作的更多详细信息）？

谢谢

Answer 1

您是否看过Hadoop存档 ？ 这可能有助于减少获取多个小文件所花费的时间。