使用以SparkSession實例開頭的spark應用程序鏈接crunch spark管道

Question

Crunch管道可以將Java spark context作為參數，但是如果spark應用程序以SparkSession實例啟動（因為spark Java程序包含Datasets並且需要sparkSQL）。 在這種情況下，如何在spark應用程序中添加另一層抽象（crunch管道）？

Answer 1

可能你對概念有誤解。 crunch中的spark管道本質上是讓Crunch在Spark Engine中運行你的代碼而不是MapReduce引擎。 與MapReduce作業和Spark管道相比，Apache Crunch（PCollections）的抽象是一種高級抽象。