可以啟動 apache Spark 節點的嵌入式實例嗎？

Question

我想啟動一個嵌入到我的 java 應用程序中的獨立 Apache Spark 集群的實例。 我試圖在他們的網站上找到一些文檔，但還沒有看。

這可能嗎？

Answer 1

你可以在本地模式下創建 SparkContext，你只需要提供“local”作為 SparkConf 的 spark master url

val sparkConf = new SparkConf().
  setMaster("local[2]").
  setAppName("MySparkApp")

val sc = new SparkContext(sparkConf)

Answer 2

是的——您可以通過“本地”主節點以嵌入式方式使用 Spark。

SparkConf sparkConf = new SparkConf();//Create new spark config
sparkConf.setMaster("local[8]"); // local, using 8 cores (you can vary the number)
sparkConf.setAppName("MyApp");
SparkContext sc = new SparkContext(sparkConf);

這將在您的 JVM 中運行 Spark。

Answer 3

其他人回答了這個問題，但對於 2020 年的 Apache Spark 3.0 版：

Java示例：

SparkSession spark = SparkSession.builder().appName("Your app name").master("local[*]").getOrCreate();

master("local[*]") 表示在獨立模式下運行所有​​可用的 CPU 內核。

Maven 依賴項：

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.12</artifactId>
      <version>3.0.1</version>
      <scope>provided</scope>
    </dependency>
    
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.12</artifactId>
      <version>3.0.1</version>
    </dependency>