InvalidQueryException：此操作不支持一致性級別 LOCAL_ONE。 支持的一致性級別是：LOCAL_QUORUM

Question

import org.apache.spark._
import org.apache.spark.SparkContext._
import com.datastax.spark.connector._
import com.datastax.spark.connector.cql.CassandraConnector    
val conf = new SparkConf()
          .setMaster("local[*]")
          .setAppName("XXXX")
          .set("spark.cassandra.connection.host" ,"cassandra.us-east-2.amazonaws.com")
          .set("spark.cassandra.connection.port", "9142")
          .set("spark.cassandra.auth.username", "XXXXX")
          .set("spark.cassandra.auth.password", "XXXXX")
          .set("spark.cassandra.connection.ssl.enabled", "true")
          .set("spark.cassandra.connection.ssl.trustStore.path", "/home/nihad/.cassandra/cassandra_truststore.jks")
          .set("spark.cassandra.connection.ssl.trustStore.password", "XXXXX")
          .set("spark.cassandra.output.consistency.level", "LOCAL_QUORUM")
    
    val connector = CassandraConnector(conf)
           val session = connector.openSession()
               sesssion.execute("""INSERT INTO "covid19".delta_by_states (state_code, state_value, date ) VALUES ('kl', 5, '2020-03-03');""")
session.close()

我正在嘗試使用本地系統中設置的 Spark 應用程序將數據寫入 AWS Cassandra 密鑰空間。 問題是當我執行上面的代碼時，我得到如下異常：

“com.datastax.oss.driver.api.core.servererrors.InvalidQueryException：此操作不支持一致性級別 LOCAL_ONE。支持的一致性級別是：LOCAL_QUORUM”

從上面的代碼可以看出，我已經在 Spark Conf 中將 cassandra.output.consistency.level 設置為 LOCAL_QUORUM。 我也在使用 datastax cassandra 驅動程序。

但是當我從 AWS Cassandra 讀取數據時，它工作正常。 我還在 AWS Keyspace cqlsh 中嘗試了相同的 INSERT 命令。 它在那里也工作得很好。 所以查詢是有效的。

有人可以幫助我如何通過 datastax.CassandraConnector 設置一致性嗎？

Answer 1

破解它。

而不是通過 spark config 設置 cassandra 一致性。 我在 src/main/resources 目錄中創建了一個 application.conf 文件。

    datastax-java-driver {

        basic.contact-points = [ "cassandra.us-east-2.amazonaws.com:9142"]
    advanced.auth-provider{
        class = PlainTextAuthProvider
        username = "serviceUserName"
        password = "servicePassword"
    }
    basic.load-balancing-policy {
        local-datacenter = "us-east-2"
    }

    advanced.ssl-engine-factory {
        class = DefaultSslEngineFactory
        truststore-path = "yourPath/.cassandra/cassandra_truststore.jks"
        truststore-password = "trustorePassword"
      }

    basic.request.consistency = LOCAL_QUORUM 
    basic.request.timeout = 5 seconds 
    
}

並創建 cassandra session 如下所示

import com.datastax.oss.driver.api.core.config.DriverConfigLoader
import com.datastax.oss.driver.api.core.CqlSession

val loader = DriverConfigLoader.fromClassPath("application.conf")
val session = CqlSession.builder().withConfigLoader(loader).build()
sesssion.execute("""INSERT INTO "covid19".delta_by_states (state_code, state_value, date ) VALUES ('kl', 5, '2020-03-03');""")

它終於奏效了。 無需弄亂驅動程序配置https://docs.datastax.com/en/drivers/java/4.0/com/datastax/oss/driver/api/core/config/DriverConfigLoader.html#fromClasspath-java的 spark config 文檔.lang.String-

datastax 配置文檔https://docs.datastax.com/en/developer/java-driver/4.6/manual/core/configuration/reference/