如何提交python SnappyData作業

Question

SnappyData文檔（docs / programming_guide / using_the_spark_shell_and_spark-submit.md）顯示可以向Spark（主默認端口7077）提交可以使用SnappyData表的python程序：

$ ./bin/spark-submit --class io.snappydata.examples.AirlineDataSparkApp --master spark：// masterhost：7077 --conf spark.snappydata.connection = locatorhost：clientPort $ SNAPPY_HOME / examples / jars / quickstart.jar

我的問題：Spark端口7077似乎沒有聽。 是否必須手動配置？

（假設：我假設端口7077屬於SnappyData附帶的Spark，而不是單獨的Spark群集。）

Answer 1

是的，Snappy數據服務器JVM無法在“內部”運行Python。 但是，您可以使用相同的節點來啟動Spark主人和工作人員 - 這些重量非常輕。 運行與您用於運行SnappyData“數據服務器”的節點並置的工作程序。 請注意，無論Job（例如Java，scala）是否在數據服務器內運行，它們都需要類似的資源（CPU，內存）。