Pytorch最最适合研究生的入门教程，Q3 开始训练

Pytorch最最适合研究生的入门教程

Q3 开始训练

3.1 训练的见解

如何理解深度学习能够完成任务？ 考虑如下回归问题
由函数$y=f(x)$采样得到的100个点
$$\frac{1}{x}lnx+0.65|ln(x+x^2-lg(x+1))|+0.05R(t)$$
其中$R(t)$函数用于生成0-1的随机数

而我们在回归任务中主要有两个
①通过前80个点进行训练，推理得到后20个点
②通过训练100个点中随机80个点，推理其余20个点的值
以上①属于外推任务，②属于内插任务

内插
内插是指利用已知数据点来预测或估计已知数据点之间的值

①仅限于已知数据点的范围内，即预测已知数据之间的值。
②由于数据点是已知的，内插通常比外推更可靠，因为预测的值更接近实际值。
③内插常用于插值计算，例如在绘图、科学计算和工程领域。

外推
外推是指利用已知数据点来预测或估计未知数据点，尤其是那些位于已知数据点之外的点的值。

①通常用于预测已知数据点之外的值，即向数据范围的更远处进行预测。
②因为预测的是未知区域，所以外推通常伴随着较高的不确定性，结果可能不太可靠。
③在外推中，可能会使用曲线拟合、回归分析或更复杂的数学模型来预测趋势。

以下是个人理解，
相对来说，深度学习更加适合内插任务。

比如 1， 5， 10， 30， 50，预测下一个数
和 1， 10， 30， 50，预测第二个数，其难度是完全不一样的

当数据合适且都处于内插范围，即使是网络结构简单，都能有不错的效果
这项结论在CV、NLP任务中也绝对是成立的，即当训练集基本涵盖了所有可能出现的特征时，预测其余特征的难度会大幅度下降。这一点体现了神经网络的记忆性
而在针对外推等先验信息不足的任务的适合，任何结构的神经网络推理能力都是有限的！
所以，针对内插任务，我们考虑模型函数
$$P=g(X,W)$$
其中$P$为神经网络的输出，$X$为模型输入(特征向量), $W$为所有参数的集合
当我们满足以下关系

如果满足
$$P\to Y$$
则可以说在$\mathring{U}(X,\delta )$满足
$$Model\to Function$$
此时称模型训练结束，且得到模型为精度最优模型
但实际训练过程中， 基本采用$P\to Y+r(X,Y)$作为目标函数
其中$r(X,Y)$为损失函数
则我们最终优化式为
$$\underset{W}{\mathrm{argmin}}r(X,Y)$$
而神经网络的训练过程就是通过梯度下降算法来式式子最小

---

3.2 Pytorch基本训练框架

我们这里规定，所有的训练代码，基本都要符合如下训练框架。而后续我们的教程也是围绕这个基本框架展开

对应以上框架，写出最最最基础的代码

import torch
import matplotlib.pyplot as plt
from torch.utils.data import TensorDataset, DataLoader# 超参数设置
batches = 16  # 批大小
lr = 1e-3  # 学习率
epochs = 100# 创造数据
X = torch.linspace(0, 1, 10000).reshape(-1, 10)
Y = torch.sigmoid(X).mean(dim=1, keepdim=True) + 0.05 * torch.rand(X.shape[0], 1)# 创建移入Dataset
dataset = TensorDataset(X, Y)# 创建移入DataLoad
dataloader = DataLoader(dataset, batch_size=batches)# 创建模型
model = torch.nn.Sequential(torch.nn.Linear(10, 128),torch.nn.Sigmoid(),torch.nn.Linear(128, 128),torch.nn.Sigmoid(),torch.nn.Linear(128, 1)
)# 创建优化器
optimizer = torch.optim.Adam(model.parameters(), lr=lr)# 创建损失函数
criterion = torch.nn.MSELoss()# 训练
for epoch in range(epochs):for idx, data in enumerate(dataloader):x, y = datap = model(x)loss = criterion(p, y)loss.backward()optimizer.step()optimizer.zero_grad()# 结束训练
with torch.no_grad():P = model(X)
loss = criterion(P, Y)
print(f'Total Loss: {float(loss):.3f}')plt.plot(P, label='prediction')
plt.plot(Y, label='Evaluation', ls='--')
plt.plot(torch.abs(P - Y), label='Absolute Loss')
plt.legend()
plt.show()

Total Loss: 0.001

其中某些参数的解释

参数	名词	解析
batches	批大小	指一次前馈中用于训练的样本数量(加速训练)
lr	学习率	学习率指梯度下降过程中的超参数
epochs	迭代次数	指总共模型迭代次数
dataset	Torch中数据集类	训练中使用dataloader取出dataset的数据
dataloader	Torch中数据迭代类	训练中每次取出(batches)个样本

work

将Q2中work中的模型运用起来，修改参数后使用iris数据集进行训练