懶惰的cassandra加載火花

Question

我想知道在Lazy模式下加載cassandra表是否是一個好習慣，然后使用where子句。

例如：

Lazy val table = sparkContext.cassandraTable[Type](keyspace,tableName)

---代碼的其他部分---

table.where("column = ?",param)

謝謝！

Answer 1

默認情況下，所有RDD都是惰性的。 在你召集行動之前，他們實際上不會做任何事情。 所以不要添加延遲，因為這只會延遲圍繞RDD創建元數據而不會實際影響執行。

例

val table = sparkContext.cassandraTable[Type](keyspace,tableName)
val tableWithWhere = table.where("x = 5")
val tableTransformed = table.map( x:Type => turnXIntoY(x) )
//nothing has happened in C* or Spark on executors yet
tableTransformed.collect // This causes spark to start doing work