如何在PyTorch中查找和了解autograd源代碼

Question

我對autograd算法有很好的了解，我認為我應該了解PyTorch中的源代碼。 但是，當我在GitHub上看到該項目時，我對結構感到困惑，因為很多文件都包含autograd。 那么哪一部分是autograd最重要的核心代碼？

Answer 1

1. 嘗試了解autograd 變量可能是第一件事，您可以做什么。 據我了解，autograd僅是模塊的命名，其中包含具有漸變和向后功能增強的類。

2. 請注意，很多算法（例如通過圖形的反向傳播）都隱藏在編譯后的代碼中。

3. 如果您查看__init__.py ，則可以了解所有重要功能（向后和漸變）

Answer 2

我建議您通過制作一個簡單的圖形並打印/可視化如下結構，來將對autograd的理解與所涉及的PyTorch數據結構聯系起來：

• 打印自動分級圖
• Resnet示例 Viz（Jupyter筆記本）

Answer 3

讀取PyTorch代碼是可行的，但是您可能對細節不知所措。 要了解autograd的基本概念，您可能需要參考一些簡單的autograd實現，例如https://evcu.github.io/ml/autograd/和https://medium.com/@ralphmao95/simple-autograd實現理解手工自動分化9e86f6d703ab