如何在Flink中加载外部jar

Question

当我以独立集群模式将作业提交给Flink时，我发现taskManager每次都会从jobManager中获取jar（即使对于同一个jar），这也需要很长时间。 我想知道是否有可能将这些jar保留在每个工作程序节点中，以便它们将为每次运行自动在本地加载jar。

Answer 1

部署集群时，lib文件夹中的任何jar都可用于集群中的节点。 lib文件夹通常包含flink-dist _ *。jar。

如果每个工作都需要一个图书馆，那么您可以将其放置在那里。 只需记住，当您更改库时，这意味着您必须关闭群集并重新部署它，这可能会很痛苦。

Answer 2

您可以仅使用内部代码/逻辑创建一个最小的jar，并确保您依赖的所有jar在/lib文件夹中均可用（根据Arthur的建议）。 这将使从JobManager提取jar所需的时间最少。 该Flink文档说（在某些情况下）应该有可能避免加载任何动态jar，但是我从未尝试过这样做。