我們可以在Spark 1.1.0中使用Shark 0.9.1版本嗎？

Question

我知道Shark已被Spark SQL（Apache Spark中的新模塊）所包含。 但是我的問題是，我們可以將現有的Shark與新的Spark版本一起使用嗎？

Answer 1

根據其發行說明 ，Shark 0.9.1僅支持Spark 0.9.1。

根據郵件列表中的帖子 ，尚無適用於Spark 1.0+的Shark的正式版本。 Shark依賴於Spark的非公共接口，這些接口可能已在0.9.1和1.1.0之間更改，因此將Shark移植到Spark 1.0+可能需要大量工作。