使用Jdk8在纱线上火花

Question

我正在hadoop纱线上运行spark作业（hadoop 2.7.0，但也尝试了2.4.0，全部使用apache-hadoop网站上的下载和spark 1.3.1在我的盒子上进行）。 我的火花工作在scala中，但包含使用jdk8编译的类。

当我在jdk8上运行hadoop时，我得到

INFO yarn.Client: 
 client token: N/A
 diagnostics: Shutdown hook called before final status was reported.
 ApplicationMaster host: kostas-pc
 ApplicationMaster RPC port: 0
 queue: default
 start time: 1431513335001
 final status: SUCCEEDED

即使该作业被标记为“成功”，由于“在报告最终状态之前调用了“ Shutdown”挂接”，该作业实际上并未执行任何操作。 实际上，从我的Spark作业中看不到任何日志记录。

当我将运行hadoop的jdk切换到jdk7时，我的工作开始运行，并且可以从scala代码中看到日志条目，但是当它进入使用jdk8编译的代码时，它将失败，并出现不兼容的类错误（如预期的那样）。

因此，似乎与jdk8运行hadoop + spark不兼容。 有什么解决办法吗？

谢谢

Answer 1

似乎火花1.4.0可以与JDK8一起使用