pytorch自动微分

一、torch.autograd.backward(tensors, grad_tensors=None, retain_graph=None, create_graph=False)功能：自动求取梯度

• grad_tensors：多梯度权重

  # 自动求取梯度
  # import torch
  # w = torch.tensor([1.],requires_grad=True)
  # x = torch.tensor([2.],requires_grad=True)
  # a = torch.add(w, x) #逐位相加
  # b = torch.add(w, 1)
  # y = torch.mul(a, b)# 逐位相乘
  #
  # c = y.backward(retain_graph = True)
  # print(c)

• create_graph：创建导数计算图，用于高阶求导
• retain_graph：保存计算图
• tensors：用于求导的张量，如 loss
• 2、torch.autograd.grad(outputs, inputs, grad_outputs=None, retain_graph=None, create_graph=False)功能：求取梯度
  • outputs：用于求导的张量，如 loss
  • inputs：需要梯度的张量
  • create_graph：创建导数计算图，用于高阶求导
  • retain_graph：保存计算图
  • grad_outputs：多梯度权重

  • # 求取梯度
    # import torch
    # x = torch.tensor([3.],requires_grad=True)
    # y = torch.pow(x, 2)
    # grad_1 = torch.autograd.grad(y, x, create_graph = True)
    # grad_2 = torch.autograd.grad(grad_1[0],x)
    # print(grad_2)
    

  • 实例

  • # 实例，求y=x方的一阶与二阶偏导
    import torch
    x = torch.tensor([3.], requires_grad=True)
    y = torch.pow(x,2)#求取一阶导数
    grad_1 =torch.autograd.grad(y,x,create_graph=True)#求取二阶导数
    grad_2 = torch.autograd.grad(grad_1,x) #此处值x是确定的，开始给定了3# 展示一阶倒数的结果
    print(grad_1)
    #展示二阶导数结果
    print(grad_2)# 求取y=x的立方的一阶二阶三阶导数# 创建x的初值
    import torch# 创建x，并赋予初值
    x = torch.tensor([2],requires_grad = True)
    # 创建y
    y = torch.pow(x, 3)
    # 做一阶导数
    grad_1 = torch.autograd.grad(y, x, create_graph=True)
    # 做二阶导数
    grad_2 = torch.autograd.grad(grad_1[0], x, create_graph=True)
    # 做三阶导数
    grad_3 = torch.autograd.grad(grad_2[0], x, create_graph=False)print(grad_1)
    print(grad_2)
    print(grad_3)