阿帕奇猪在火花

Question

我正在使用hadoop2.2.0，cassandra2.0.6，pig0.12和spark1.0.1。 我正在使用CassandraStorage处理程序使用Pig从Cassandra读取数据，并进行了分析操作。 我知道spark接受hadoop输入格式（pig）数据，所以我想通过Pig查询将读取的数据传递给spark。 我该怎么做呢？

Answer 1

您可以将数据存储在HDFS中，然后从Spark读取数据。 Spark实际上是从HDFS读取的。 如果在Spark中使用名称而不是索引（在Pig中作为别名），则可以创建案例类以提供名称。