分析Pig / Hive编译器产生的Map-Reduce作业

Question

无论如何，是否可以查看由Pig和Hive生成的Map-Reduce作业的代码？

我了解使用Hive可以查看抽象语法树，但是似乎无法访问MR作业的实际Java代码。 我在这个假设中弄错了吗？

Answer 1

Pig和Hive不会生成任何Java代码，但是会计划。 可以在外壳程序中使用explain命令查看该计划。 从SQL生成Java代码的一种方法是使用YSmart 。 请注意，Hive中发生了许多更改 ，以使其更快。

Answer 2

您可以自己下载并构建源代码。

然后使用像eclipse这样的Java IDE可以进行远程调试，可以检查代码。 尽管您可能没有适当的所有依赖关系，并且可能无法检查所有对象，但是您可以比Explain函数更详细地查看计划。

要允许远程调试，请在您的hadoop bash脚本中添加debug参数：

-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=1044