Autograd: 自动求导机制

PyTorch 中所有神经网络的核心是 autograd 包。

autograd包为张量上的所有操作提供了自动求导。 它是一个在运行时定义的框架，这意味着反向传播是根据你的代码来确定如何运行，并且每次迭代可以是不同的。

张量（torch.Tensor）

torch.Tensor是这个包的核心类。

如果设置 .requires_grad 为 True，那么将会追踪所有对于该张量的操作。
当完成计算后通过调用 .backward()，自动计算所有的梯度，这个张量的所有梯度将会自动积累到 .grad 属性。

要阻止张量跟踪历史记录，可以调用.detach()方法将其与计算历史记录分离，并禁止跟踪它将来的计算记录。

在自动梯度计算中还有另外一个重要的类Function.

如果需要计算导数，你可以在Tensor上调用.backward()。
如果Tensor是一个标量（即它包含一个元素数据）则不需要为backward()指定任何参数，但是如果它有更多的元素，你需要指定一个gradient 参数来匹配张量的形状。

过程

1. 导入包

   import torch
   

2. 创建一个张量并设置 requires_grad=True 用来追踪他的计算历史

   x = torch.ones(2, 2, requires_grad=True)
   print(x)
   

3. 对张量进行操作:

   y = x + 2
   print(y)
   

   结果y已经被计算出来了，所以，grad_fn已经被自动生成了。

4. print(y.grad_fn)
   

5. 对y进行一个操作 ``` out = z.mean()

print(z, out)

6. .requires_grad_( ... ) 
.requires_grad_( ... ) 可以改变现有张量的 requires_grad属性。 如果没有指定的话，默认输入的flag是 False。

a = torch.randn(2, 2) a = ((a * 3) / (a - 1)) print(a.requires_grad) a.requires_grad_(True) print(a.requires_grad) b = (a * a).sum() print(b.grad_fn)

False True <SumBackward0 object at 0x000002004F7D5608> ```

梯度