AWS EMR 任務節點上的 Flink
[英]Flink on AWS EMR Task Nodes
問題描述
是否可以在 AWS EMR 的任務節點上運行 Flink 任務管理器？ 如果是，它與在核心節點上運行任務管理器有何不同？
1 個解決方案
解決方案1
1 已采納 2020-11-01 20:18:40
是的，您應該能夠在任務節點上運行 TM。 我期望的唯一區別是 EMR 不會在任務節點上安排 Flink 作業管理器 (JM)（“Amazon EMR ... 允許應用程序主進程僅在核心節點上運行”）。
如果您的工作流具有從 HDFS 讀取的源和/或寫入 HDFS 的接收器，那么在任務節點上運行的這些操作符的子任務可能需要更長的時間，因為任務節點不運行 Hadoop 數據節點守護程序，因此所有讀/寫在網絡上。
如何在 AWS EMR (ElasticMapReduce) 中監控 Apache Flink？
[英]How to monitor Apache Flink in AWS EMR (ElasticMapReduce)?
Flink-由BucketingSink與S3A引起的AWS EMR中的AWSS3IOException
[英]Flink - AWSS3IOException in AWS EMR caused by BucketingSink with S3A
使用當前版本的AWS EMR（使用1.5.0）運行Flink 1.5.1
[英]Run Flink 1.5.1 with current version of AWS EMR (using 1.5.0)
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
QueryableState Flink AWS EMR
AWS EMR - Apache Flink Web 客戶端
如何在 AWS EMR 中擴展 Flink 作業
如何在 AWS EMR (ElasticMapReduce) 中監控 Apache Flink？
使用EMR的Apache flink的AWS配置
通過Flink REST API在AWS EMR上運行Flink作業
無法從 AWS EMR 中的 Flink 訪問 s3 文件
Flink-由BucketingSink與S3A引起的AWS EMR中的AWSS3IOException
在AWS EMR中部署Flink自定義JAR文件時出錯
使用當前版本的AWS EMR（使用1.5.0）運行Flink 1.5.1
相關標簽