[英]Spark scala cassandra
請查看以下代碼,讓我知道我在哪里做錯了?
使用:
DSE版本-5.1.0
在172.31.16.45:9042連接到測試集群。 [cqlsh 5.0.1 | 卡桑德拉3.10.0.1652 | DSE 5.1.0 | CQL規范3.4.4 | [原始協議v4]使用幫助獲得幫助。
謝謝
Cassandra Table :
cqlsh:tdata> select * from map;
sno | name
-----+------
1 | One
2 | Two
scala>:showSchema tdata ======================================鍵空間:tdata == =====================================表:地圖--------- --------------------------------sno:Int(分區鍵列)-名稱:String
scala> val rdd = sc.cassandraTable(“ tdata”,“ map”)
scala> rdd.foreach(println)
我什么都沒收到? 甚至沒有錯誤。
您遇到了一個非常常見的火花問題。 您的println
代碼正在遠程executor
JVM上executor
。 這意味着打印輸出到executor
JVM進程的STDOUT
。 如果要在打印之前將數據帶回driver
JVM,則需要一個collect
調用。
rdd
.collect //Change from RDD to local collection
.foreach(println)
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.