如何连接到在Docker实例中运行的Spark

Question

我正在尝试在docker实例中站起来Spark，然后从外部python进程连接到它。

上下文：此设置对于Travis中基于Spark的代码的CI / CD非常重要。 我也希望使用它为分布式团队建立一致的开发环境。

我该怎么做呢？

这个docker镜像非常适合用来产生火花： https : //hub.docker.com/r/jupyter/pyspark-notebook/

通过dockerized笔记本进行连接可以立即使用。 （除了调试之外，我实际上并没有使用笔记本，因此以后可能会删除它们。目前，它们是一个很好的调试工具。）

我无法从外部python进程（笔记本或其他方式）进行连接。启动python或实例化SparkContext时是否需要设置环境变量？

Answer 1

您是否正确暴露了火花口？ 查看您共享的链接（ https://hub.docker.com/r/jupyter/pyspark-notebook/ ），我无法确定您是如何启动容器的。 您需要将spark主端口公开给主机，然后从python代码中使用它。 您能否共享用于启动容器的命令（或docker-compose.yml）。 同时分享您从python代码中使用的网址。