我正在尝试在 GKP 中运行用 java 编写的 spark 应用程序。 同样，我能够构建图像并放置在容器中。 但是在使用 spark-submit 命令运行 spark 应用程序时，我遇到了一个错误，即 我使用的 java 和 spark 版本是 jdk-11 和 spark-3.2.1 我通 ...
我要提交pyspark任务，并提交带有任务的环境。 我需要 --archives 来提交包含完整环境的 zip 包。 工作火花提交命令是这个 我正在尝试使用 SparkLauncher 以编程方式启动 Spark 应用程序 我需要在某个地方放置可以在纱线上解压缩的 zip 文件。 但我没 ...
使用 Java API，我可以在“客户端”模式下通过 Spark Launcher 提交、获取状态和终止 spark 应用程序。 Spark Launcher 能否跟踪和控制以独立“集群”模式提交的应用程序？ ...
我正在使用SparkLauncher在 Yarn 上以集群模式连接到 Spark。 我正在使用 Scala 运行一些 SQL 代码，如下所示： 现在，当我运行应该使用execute()方法失败的查询时，例如，查询没有分区谓词的分区表 - select * from partitioned_table ...
如果我使用 spark-submit 命令行将 spark 任务提交给纱线，我将能够使用--queue myqueuename设置队列 完整的命令是 但是，如何从 Java 使用 SparkLauncher 设置队列。 我想以编程方式启动 spark 任务。 到目前为止我的java代码 我 ...
我可以通过spark-submit提交spark工作但是当我尝试使用SparkLauncher以编程方式执行相同操作时，它什么也没给我（我甚至没有在UI上看到Spark工作） 以下是场景： 我有一个托管hdfs集群的服务器（比如主机名：cr-hdbc101.dev.local：712 ...
我正在探索打包 spark 应用程序的不同选项，但我很困惑什么是最佳模式以及以下模式之间有什么区别？ 将 spark 应用程序的 jar 提交到 spark-submit 从 spark gradle 项目构建一个胖 jar 并将该 jar 作为独立的 java 应用程序运行。 我已经 ...
我需要从在Liberty（17.0.0.2）上运行的Web应用程序启动的线程中运行Spark作业。 这部署在Docker容器上。 我可以通过从Java代码启动的spark-submit脚本启动spark（2.2.0）作业来使此工作正常进行。 但是，我想删除脚本调用并使用SparkLau ...
请，如何创建带有链接的标签？ 错误：错误处理组件（tableC） 还是在系统中运行现有的仪表板（Sparkl App Pentaho）？ 错误：错误处理组件（tableC） 谢谢。 ...
我正在尝试创建一个可执行 jar，它使用Spark 启动器运行另一个带有数据转换任务的 jar（此 jar 创建 spark 会话）。 我需要将 java 参数（一些 java 数组）传递给由启动器执行的 jar。 我该怎么做？ ...
我正在运行一个Spark独立集群，其中有3个节点。 一个是主人，另外两个是工人。 我在所有三个节点的/home/bizruntime/***.jar的所有三个节点中复制了该作业，当我使用master中的spark-submit提交作业时，该作业正在运行。 但是我的群集位于远程位置，并且 ...
尝试使用masterURL=yarn-client运行spark作业。 使用SparkLauncher 2.10。 Java代码包装在nifi处理器中。 Nifi当前以root用户身份运行。 当我执行yarn application -list时，我看到spark作业从USER = ro ...
我正在使用SparkLauncher从代码提交Spark应用程序。 现在，该作业根本不会运行，并且不会调用处理程序函数，我认为这是由于作业配置中的错误。 在输出日志中，我可以看到以下错误： 因此，在我看来，该代码无法与sparkArguments分开识别appArgs。 ...
我有一个Web应用程序，它将使用Spark Launcher库在Cloudera Spark集群上提交Spark作业。 它已成功将Spark作业提交给集群。 但是，它不会回调侦听器类方法，而且即使作业在群集上完成执行后，返回的SparkAppHandle上的getState()也不会从“ ...
当我等到我的火花apache工作完成时，我试图避免“while（true）”解决方案，但没有成功。 我有一个spark应用程序，它假设处理一些数据并将结果放到数据库中，我确实从我的spring服务中调用它，并希望等到作业完成。 例： 启动器方法： 如何正确等待，直到处理 ...
我在Spark v1.6.0中使用SparkLauncher 。 我的问题是，当我使用这个类启动我的Spark作业时，它立即返回并且没有提交作业。 我的代码如下。 当我调试代码时，我注意到，令我惊讶的是，所有这些clazz确实是使用ProcessBuilder调用脚本spark-su ...
当使用spark-submit将Spark应用提交到Yarn时，我可以通过--driver-java-options将java选项传递给驱动程序，例如： 通过SparkLauncher提交时如何达到相同的SparkLauncher ？ 特别是，是否有办法使用Spark 1.4实现它？ ...
我试图通过Java代码将带有Spark作业的JAR提交到YARN集群中。 我使用SparkLauncher提交SparkPi示例： 有两个问题： 在“纱线群集”模式下提交时，应用程序成功提交给YARN并成功执行（在YARN UI中可见，报告为SUCCESS，输出中打印了pi） ...