Spark 1.4 和 Cassandra 3.0 的 spark-cassandra-connector

Question

Spark-Cassandra 专家：Apache Spark 1.4 是否可以在 Datastax 安装中与 Apache Cassandra 3.0 一起使用？。 我们正在考虑将 DSE 4.8（Spark 1.4 和 Cassandra 2.1）迁移到 DSE 5.0（Spark 1.6 和 Cassandra 3.0）的几种选择。 一种选择是将 Cassandra 集群更新到 DSE 5.0，而将 Spark 集群保留在 DSE 4.8 上。 这意味着我们必须让 Apache Spark 1.4 与 Apache Cassandra 3.0 一起工作。 我们使用https://github.com/datastax/spark-cassandra-connector版本 1.4 (DSE 4.8) 和 1.6(DSE 5.0)。 有人试过在 Cassandra 3.0 (DSE 5.0) 上使用 Spark 1.4 (DSE 4.8) 吗？

Answer 1

正如我从 Maven Central 中看到的，Spark Cassandra Connector 1.4.5 确实使用了 Java 驱动程序的 2.1.7 版。 根据官方文档中的兼容性矩阵，驱动程序 2.1.x 将无法与 Cassandra 3.0 一起使用...您当然可以对其进行测试，但我怀疑它是否有效 - 驱动程序通常向后兼容，但不向前兼容。 .

我建议先迁移到 DSE 5.0，然后以足够快的速度迁移到 5.1，因为 5.0 很快就会停产。

PS 如果您有更多问题，我建议您加入 DataStax Academy Slack - 那里有一个关于 spark cassandra 连接器的单独频道。