當我們將Spark從Standalone切換到Yarn-Client時，需要更改什么？

Question

當前，我們有一個程序是一個Web服務，它接收SQL查詢並使用SQLContext進行響應。 該程序現在處於獨立模式，我們將spark.master設置為特定的URL。 結構如下所示：

object SomeApp extends App
{
    val conf = new SparkConf().setMaster("spark://10.21.173.181:7077")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    while(true)
    {
        val query = Listen_to_query()
        val response = sqlContext.sql(query)
        send(response)
    }
}

現在，我們將系統轉換為“ Spark on Yarn”，看來我們應該使用submit將作業提交到yarn。 在紗線上部署這樣的“服務”不會像普通的“作業”那樣停止會很奇怪。 但是我們不知道如何從程序中分離“工作”。

你有什么建議嗎？ 謝謝！

Answer 1

因此，如果您只想將工作提交給yarn，就可以更改主參數。 但是，聽起來您正在尋找長期運行的共享Spark Context，並且有一些類似的選項。 有https://github.com/spark-jobserver/spark-jobserver和https://github.com/ibm-et/spark-kernel 。