評估多個機器學習模型的正確方法

Question

我正在為我想要評估多個模型的機器學習項目在 Python 中編寫一個 QARegression 模塊。 假設，這是一個圖像識別 model 在位於多個文件夾中的多個圖像上運行。

 - folder-1
   - img-1
   - img-2
   - img-3
 - folder-2
   - img-1
   ......

我這樣寫有關系嗎

for eachFolder in FolderList:
    for eachImage in ImageList:
        for eachModel in ModelList:
            evaluate(predicted, GroundTruth)

或者

for eachModel in ModelList:
    for eachFolder in FolderList:
        for eachImage in ImageList:
            evaluate(predicted, GroundTruth)

我到底想要像這樣的 output

model_1 : score1
model_2 : score2
.
.
.

這在以下方面會更好

1. 運行時復雜度

2. 正確性

或者根本不重要，我們可以寫嗎？

Answer 1

這大概取決於外部因素。 如果每個 model 需要很長時間才能加載，您希望盡可能不頻繁地加載，因此希望將 model 循環放在外面。 如果每個圖像都非常大，您希望盡可能不頻繁地加載它們，因此希望圖像循環位於 model 循環之外。

Answer 2

他們倆都會評估每個模型。 但是第二個應該是 go。 第二個將采用 model 並評估 model 與所有文件夾中的所有圖像。 這比為不同的圖像一次又一次地加載模型要好。 此外，使用第一個代碼片段評估所有模型也將更加困難。