有沒有辦法用 TRAINS python 包創建一個比較超參數與模型精度的圖表？

Question

我想運行多個實驗，然后報告每個實驗的模型准確性。

我正在用 pytorch (v1.1.0) 訓練一個玩具 MNIST 示例，但目標是，一旦我可以比較玩具問題的性能，將其與實際代碼庫集成。

據我了解 TRAINS python 包，“兩行代碼”已經記錄了我所有的超參數（在我的例子中是命令行 argparse）。

我需要做什么才能報告最終標量，然后能夠對所有不同的訓練實驗（帶超參數）進行排序，以便找到最好的。

我想得到的是一個圖表，在 X 軸上我有超參數值，在 Y 軸上我有驗證准確性。

Answer 1

我假設您指的是： https : //pypi.org/project/trains/ ( https://github.com/allegroai/trains )，我是維護者之一。

您可以手動創建一個圖，其中單點 X 軸表示超參數值，Y 軸表示精度。

number_layers = 10
accuracy = 0.95
Task.current_task().get_logger().report_scatter2d(
    "performance", "accuracy", iteration=0, 
    mode='markers', scatter=[(number_layers, accuracy)])

假設您的超參數是“number_layers”，當前值為 10，訓練模型的准確度為 0.95。

然后當你比較實驗時，你會得到這樣的結果：