如何在jupyter筆記本中運行spark-submit？

Question

我試圖在一個jupyter筆記本中運行一個spark-submit作業來從網絡數據庫中提取數據：

!spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.10:2.0.0 script.py

並收到此消息：

jupyter：'/ home / user / script.py'不是Jupyter命令

是否有從筆記本提交的選項。

KR

Answer 1

如果它是一個ipykernel ，我沒有看到要求進行spark提交，那么你已經處於交互式spark模式，其中sparkContext和sqlContext已經創建並可用於內核啟動的整個會話。 好像你正在嘗試創建一個級聯排序操作，即在spark應用程序中有spark應用程序等等。 你不能擁有Spark。

你可以啟動一個普通的python內核，然后使用Popen或其他類似的庫和函數運行spark-submit作為shell命令。

Answer 2

使用shell魔法：

%%sh
spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.10:2.0.0 script.py

在這里看到更多魔法！