如何打印來自 Sagemaker 培訓的調試信息？

Question

我有一個 jupyter notebook 腳本，它只是啟動一個訓練腳本，大概是在一個 docker 容器中。

我在該訓練腳本中添加了一些打印語句，但它沒有顯示在筆記本或 CloudWatch 中。

我正在使用常規的 print() 語句。 我應該如何從訓練腳本中記錄調試？

Answer 1

當 Python 嘗試緩沖 stdout 時，我已經看到了這一點，這並不總是與 Docker 配合得很好——將 ENV PYTHONUNBUFFERED=1 添加到你的 Dockerfile（然后重建圖像）將解決這個問題，如果這是原因的話。

Answer 2

您可以在 AWS CloudWatchLogs 上找到日志。 轉到 Sagemaker 儀表板上的培訓工作，選擇您要查找的培訓工作。 在那里你會找到一個選項'view_logs'。 它會將您定向到 Cloudwatch 日志。

希望這可以幫助！

Answer 3

根據https://docs.aws.amazon.com/sagemaker/latest/dg/your-algorithms.html，“Docker容器可能會將消息發送到 Stdout 和 Stderr 文件。Amazon SageMaker 將這些消息發送到您的 Amazon CloudWatch 日志中AWS 賬戶”。 所以 print() 應該適用於你的情況。 您是否檢查過更改訓練腳本后是否更新了 docker 鏡像？

Answer 4

對於普通的 python 打印，您可以手動刷新 std

print("My Message", flush=True)