多个 spark 任务可以单核运行吗？

Question

我用一个执行器和一个 VCore 运行 Spark 代码。 Dataframe 被重新分区为 25 个分区。 我用代码调用了 mapPartitions 方法，以便在 mapPartitions 中进行一些 REST 调用。 当我在 Spark UI 中查看舞台时，我惊讶地发现 25 个任务与 1vcore 并行运行。 这甚至在 REST 端点端得到了证实。

我想知道如何仅使用 1vcore 就可以运行 25 个任务：

1> 这种并发是否使用线程

2> 如果这些是并发调用，如何知道并发限制

Answer 1

@sanket9394 事实证明，由于此错误，YARN UI 显示了 1 个 VCore： https ://jira.pnda.io/browse/PNDA-4006

当我查看 Spark UI 执行器页面时，它显示了 25 个 VCore。 所以这是一个误报