Hadoop-Elasticsearch-Spark版本兼容性

Question

以前，我在5.3.0版中拥有Kibana / Elasticsearch。 在我的Java项目中，依赖项为：

• hbase-client / server…1.2.1
• hadoop-hdfs / common ... 2.5.1
• elasticsearch-hadoop 5.3.0
• Spark（spark-core_2.11）1.3.0

整个功能正常。

我想在6.3.1版中更新Kibana / ES。 哪些版本的Hadoop / Spark兼容？ 我找不到兼容性矩阵...

• hbase客户端/服务器…？
• hadoop-hdfs / common ...？
• elasticsearch-hadoop 6.3.1吗？
• Spark（spark-core_2.11）1.6.1吗？

谢谢。

Answer 1

elasticsearch-hadoop二进制文件适用于Hadoop 2.x（也称为YARN）环境。 对Hadoop 1.x环境的支持在5.5中已弃用，并且将不再在6.0中进行测试。

Spark是针对Hadoop 2.6+构建的，因此您应该在此处将Hadoop升级为最小公分母。 出于多种原因（例如，错误修复）和AFAIK，RDD API处于“维护模式”，建议您使用DataFrames，当然也应该使用Spark 2.x

HBase文档具有自己的兼容性图表，但与Elasticsearch无关。 最新的稳定Hbase是1.4.3

但是，1.2.1看起来像是Hive版本号，并且该版本可以正常工作，但同样，不是最新的稳定1.x版本