如何在PyTorch中查找和了解autograd源代码

Question

我对autograd算法有很好的了解，我认为我应该了解PyTorch中的源代码。 但是，当我在GitHub上看到该项目时，我对结构感到困惑，因为很多文件都包含autograd。 那么哪一部分是autograd最重要的核心代码？

Answer 1

1. 尝试了解autograd 变量可能是第一件事，您可以做什么。 据我了解，autograd仅是模块的命名，其中包含具有渐变和向后功能增强的类。

2. 请注意，很多算法（例如通过图形的反向传播）都隐藏在编译后的代码中。

3. 如果您查看__init__.py ，则可以了解所有重要功能（向后和渐变）

Answer 2

我建议您通过制作一个简单的图形并打印/可视化如下结构，来将对autograd的理解与所涉及的PyTorch数据结构联系起来：

• 打印自动分级图
• Resnet示例 Viz（Jupyter笔记本）

Answer 3

读取PyTorch代码是可行的，但是您可能对细节不知所措。 要了解autograd的基本概念，您可能需要参考一些简单的autograd实现，例如https://evcu.github.io/ml/autograd/和https://medium.com/@ralphmao95/simple-autograd实现理解手工自动分化9e86f6d703ab