分析Pig / Hive編譯器產生的Map-Reduce作業

Question

無論如何，是否可以查看由Pig和Hive生成的Map-Reduce作業的代碼？

我了解使用Hive可以查看抽象語法樹，但是似乎無法訪問MR作業的實際Java代碼。 我在這個假設中弄錯了嗎？

Answer 1

Pig和Hive不會生成任何Java代碼，但是會計划。 可以在外殼程序中使用explain命令查看該計划。 從SQL生成Java代碼的一種方法是使用YSmart 。 請注意，Hive中發生了許多更改 ，以使其更快。

Answer 2

您可以自己下載並構建源代碼。

然后使用像eclipse這樣的Java IDE可以進行遠程調試，可以檢查代碼。 盡管您可能沒有適當的所有依賴關系，並且可能無法檢查所有對象，但是您可以比Explain函數更詳細地查看計划。

要允許遠程調試，請在您的hadoop bash腳本中添加debug參數：

-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=1044