在哪里可以找到 AWS EMR 集群中的節點日志？

Question

我在AWS EMR 集群上運行了 pyspark 程序。 集群配置是這樣的 - emr-5.31.0、hadoop 2.10.0、hive 2.3.7、hue 4.7.1、pig 0.17.0。

程序處理 hdfs 文件系統上的一些文件，但有時會出錯。

在亞馬遜控制台 - YARN 應用程序 - application_XXX (Spark) - executors - 驅動程序 - stderr: '無法獲得塊...文件=

在此消息之前，有“階段 35 中的任務 0 失敗了 4 次”。 中止工作'

如果我去亞馬遜控制台 - YARN 應用程序 - application_XXX (Spark) - 階段 - 35 - 任務 - 0 - 標准輸出 - 除了很多“GC（分配失敗）”消息外，乍一看我沒有看到任何不好的東西。

在其標准錯誤中 - 有一個警告 - '無法獲得區塊 XXX，文件 = 沒有活動節點包含當前區塊區塊位置：死節點：。 拋出一個 BlockMissingException。

如果我轉到監控選項卡 - 節點狀態 - 我看到一個節點當時變得不健康，僅此而已。 “實時數據節點”、“MR 總節點”、“MR 活動節點”、“MR 丟失節點”圖表中的節點數量也發生了變化。

據我了解，任務無法在 hdfs 上找到文件，因為它所在的節點變得不健康。

我的問題是我在哪里可以找到節點變得不健康的原因。 我無法在亞馬遜控制台上找到任何其他日志。 可能有一些節點本地的地方存儲了這個原因？

Answer 1

嗨，我前段時間自己啟動了 EMR，不記得日志了。 但是在這里查閱文檔：

https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-manage-view-web-log-files.html

它指出它們存儲在機器上（我假設您擁有密鑰），默認情況下它們也存儲在 S3 上。 不確定它們將在哪個存儲桶中創建。

此致 ：）

Answer 2

在您的 EMR 集群的“摘要”頁面上，有一個名為“配置詳細信息”的部分。

在其下方，有一個名為“Log URI”的標簽。 它指向一個 S3 URI，但是，還有一個小文件夾圖標。

單擊該圖標，您可以瀏覽到 EMR 集群節點上的日志。

Answer 3

實際上，對於亞馬遜，可以通過 s3 位置訪問更多日志 - 有節點啟動和配置部分的日志，以及節點上運行服務的日志 - 我正在尋找的 hdfs 和 yarn。 路徑看起來像這樣 - s3 位置/集群 ID/節點/節點 ID/應用程序 - 在這里我能夠找到 hdfs 和 yarn 日志。