反向道具的數量作為神經網絡的性能指標

Question

我一直在閱讀有關SRCNN的文章，發現他們正在使用“反向支持程序數量”來評估網絡的運行狀況，即在x個反向訪問屬性之后網絡可以學習的知識（據我所知）。 我想知道反向道具的實際數量。 這僅僅是培訓期間使用的培訓數據樣本的數量嗎？ 還是迷你批次的數量？ 也許是以前的數字之一乘以網絡中可學習的參數的數量嗎？ 還是完全不同的東西？ 也許還有其他更通用的名稱，我可以在某個地方循環瀏覽並了解更多，因為我無法通過搜索“反向傳播次數”或“反向傳播次數”找到任何有用的信息？

額外的問題：該指標使用的范圍有多廣，效果如何？

Answer 1

我閱讀了他們2016年的論文：

• 作者= {C。 Dong和CC Loy和K. He和X. Tang}，
• journal = {IEEE模式分析和機器智能的交易}，
• title = {使用深度卷積網絡的圖像超分辨率}，

由於他們甚至沒有提到批次，因此我假設他們正在反向傳播以在每個樣本/圖像之后更新其權重。

換句話說，它們的批大小（mini-batchsize）等於1個樣本。

因此，反向傳播的數量畢竟意味着批次的數量，這是相當普遍的指標，即。 在論文中，PSNR（損耗）超過批次數量（或通常隨着時間的推移而損耗 ）。

額外的問題：我得出的結論是，它們只是不遵循機器學習或深度學習的通用詞庫。

BonusBonus問題：他們使用n批處理后的損失度量來展示不同網絡體系結構在不同大小的鏈數據集上可以學到多少。

Answer 2

我認為這意味着在反向傳播n次后，網絡已經學到了多少。 它更可能與“經過n個樣本的訓練之后...”互換。

如果他們使用遞歸網絡，則可能有點不同，因為他們可能有更多的樣本在前向道具中運行，而后向道具中運行。 （無論出於什么原因，我都無法加載紙張的鏈接，所以不確定）。

根據您提出的問題數量，我認為您可能對此考慮得過大：)

反向道具的數量不是常用的指標。 也許他們在這里使用它來展示他們基於所使用的任何優化方法的培訓速度。 但是對於大多數常見情況，這不是一個相關指標。