如果我通过spark-submit提交非火花jar进行聚类，会发生什么情况？

Question

关于火花的整体情况还不太清楚。 假设我创建了一个常规的Java jar，不涉及任何Spark相关的东西，没有sparksession，没有sparkcontext，没有rdd，没有数据集，那么如果我通过使用deply-mode = cluster的spark-submit将其提交到spark集群会发生什么？

我写了一个简单的罐子，它只打印一些行，并且似乎可以在我的玩具spark上正常工作，我曾经认为这会导致一些错误，因为它不是spark应用程序。

我想知道当提交到具有许多节点的真实世界的Spark集群时是否可以期望得到相同的结果？

Answer 1

这可能取决于集群管理器和模式，但总的来说并不奇怪。 Spark应用程序是具有常规main功能的普通JVM应用程序，它没有实现特定的接口，并且缺少活动会话也不是问题。