是否有任何Pig Map任務完成掛鈎？

Question

我有一段代碼要在Pig產生的每個地圖任務的末尾運行，以執行我的工作。 換句話說，我需要在退出地圖任務之前執行一些任務。 這是我的研究結果：

1. 我們可以調用PigProgressNotificationListener.jobFinishedNotification()但是在整個作業完成時調用此方法，而不是在每個（內部）映射器任務完成時調用此方法。

2. UDF中的Finish方法：在UDF的末尾調用，不符合我的要求。

我是MR世界的初學者。

Answer 1

在Hadoop的MapReduce實現中，在每個映射器的開始和結尾分別調用了設置和清除功能，開發人員可以重寫這些設置和清除功能以獲得所需的功能。

因此，如果將Pig腳本表達為一系列MapReduce程序並不那么復雜，則可以利用這些功能。

我確信Pig足夠先進，也可以支持這種功能。 因此，只需查找與這些功能等效的Pig。