簡體   English   中英

Flink:在Flink集群上執行Jar文件

[英]Flink: Jar file execution on Flink cluster

我將flink群集與2個不同物理節點上的9個任務管理器一起使用。 當我將罐子提交給Flink的Jobmanager(Master)時,罐子到底發生了什么。 我的意思是,jar是否分布到所有工作節點,還是函數的某些部分重復到所有工作節點?

我之所以這樣問是因為,當我嘗試運行我的應用程序時,它在本地成功運行,但是如果要在群集上運行,則會在FlatMapFunction上給出序列化錯誤。

作業管理器處理應用程序代碼,將其拆分為任務和子任務,然后將它們發送到任務管理器中的一個或多個(取決於任務並行性)執行插槽。 從Flink 文檔中

每個工作程序(TaskManager)是一個JVM進程,並且可以在單獨的線程中執行一個或多個子任務。 為了控制一個工人接受多少個任務,一個工人有一個所謂的任務槽(至少一個)。

查看此圖

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM