如何使用 Spark 和 Scala 將數據寫入 CouchBase？

Question

我是 CouchBase 的新手。我試圖在本地模式下將數據寫入 CouchBase。我的示例代碼如下，

 val cfg = new SparkConf()
.setAppName("couchbaseQuickstart")
.setMaster("local[*]")
.set("com.couchbase.bucket.MyBucket","pwd") 

    val sc = new SparkContext(cfg)
    val doc1 = JsonDocument.create("doc1", JsonObject.create().put("some","content"))
    val doc2 = JsonArrayDocument.create("doc2", JsonArray.from("more", "content", "in", "here"))
    val data = sc.parallelize(Seq(doc1, doc2))

但我無法訪問 data.saveToCouchbase()。

我使用的是 Spark 1.6.1 和 Scala 2.11.8

我在 built.sbt 中給出了以下依賴項

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.1"
libraryDependencies += "com.couchbase.client" % "spark-connector_2.11" % "1.2.1"

如何使用 Spark 和 Scala 將數據寫入 CouchBase？

Answer 1

看起來您只是缺少一個導入語句，該語句將使您能夠在 RDD 和數據幀上使用 Couchbase 函數：

import com.couchbase.spark._

val cfg = new SparkConf()
.setAppName("couchbaseQuickstart")
.setMaster("local[*]")
.set("com.couchbase.bucket.MyBucket","pwd") 

val sc = new SparkContext(cfg)
val doc1 = JsonDocument.create("doc1", 

JsonObject.create().put("some","content"))
val doc2 = JsonArrayDocument.create("doc2", JsonArray.from("more", "content", "in", "here"))

val data = sc.parallelize(Seq(doc1, doc2))

data.saveToCouchbase()