当前位置: 首页 > news >正文

【pytorch】权重为0的情况

import torch
import torch.nn as nn# 定义简单的神经网络
class SimpleNN(nn.Module):def __init__(self):super(SimpleNN, self).__init__()self.fc1 = nn.Linear(2, 2)  # 隐藏层self.fc2 = nn.Linear(2, 1)  # 输出层# 将隐藏层权重和偏置初始化为0self.fc1.weight.data.fill_(0)self.fc1.bias.data.fill_(0)# 将输出层权重和偏置初始化为0self.fc2.weight.data.fill_(0)self.fc2.bias.data.fill_(0)def forward(self, x):x = torch.relu(self.fc1(x))  # 激活函数x = self.fc2(x)return x# 创建网络实例
net = SimpleNN()# 输入数据
input_data = torch.tensor([[1.0, 2.0], [3.0, 4.0]])# 前向传播
output = net(input_data)
print("Output:", output)

记录一下上述代码,体现了隐含层和输出层的权重为全0时的结果,可惜奇怪的是李沐的例子中权重改为全0仍然能够成功训练,目前还不知道为什么。


http://www.mrgr.cn/news/43412.html

相关文章:

  • Linux基本命令及vim应用实训练习
  • python 实现多位的随机验证码
  • 栈的介绍与实现
  • 国外电商系统开发-运维系统拓扑布局
  • 进程概念 | 进程状态 | 进程优先级
  • 【C++】--类与对象(1)
  • springboot系列--web相关知识探索四
  • [Linux#61][UDP] port | netstat | udp缓冲区 | stm32
  • Angular 服务器端应用 ng-state tag 的作用介绍
  • 对称加密算法的使用Java和C#
  • 【C++】vector
  • 洛谷刷题 P1042 [NOIP2003 普及组] 乒乓球
  • Linux dlsym符号查找疑惑分析
  • SAP MM学习笔记 - 豆知识10 - OMSY 初期化会计期间,ABAP调用MMPV/MMRV来批量更新会计期间(TODO)
  • 懒洋洋浅谈--机器学习框架
  • 网络通信——OSPF和RIP的区别(总结)
  • 【漏洞复现】锐捷 RG-EW1200G 无线路由器 登录绕过
  • STL07——手写一个简单版本的unordered_set
  • Error while loading conda entry point: conda-libmamba-solver
  • C++ 语言特性29 - 协程介绍