2024年8月20日~2024年8月26日周报

目录

一、前言

二、完成情况

2.1 解决网络波动问题——学习率

2.2 设计盐数据速度模型展示图

三、下周计划

---

一、前言

        上周主要完成：

• ①与老师讨论损失函数与介绍部分内容；
• ②基于盐数据设计TU-Net的网络架构，并思考如何引出该网络架构；
• ③验证TU-Net在SEG模拟盐数据上的适用情况；

        本周主要完成：

• ①解决验证集上损失函数的波动问题；
• ②继续完善论文与实验；
• ③设计盐数据速度模型展示图；

二、完成情况

2.1 解决网络波动问题——学习率

        7月底-8月主要在完成OpenFWI数据集上的实验，包括对比实验与消融实验。当时验证集上的损失函数有一定的波动情况（batchsize设置20，学习率设置0.001），但是结果显示这个波动的影响不算大，且验证集损失有下降趋势。因此，之前没有在在意这个问题。

        但是上周在盐数据上进行实验时，发现验证集的损失值波动非常大（batchsize设置10，学习率设置0.001），波动情况如下图所示（该数据进行了归一化）：

• SEG_Net_loss3_weight_TrainSize1600_Epoch160_BatchSize10_LR0.001TrainLoss：

        后续我尝试在运行盐数据时不采用归一化操作，波动会小很多，但是指标也不是很稳定。因此，我尝试降低学习率或者增大batchsize调整波动情况。

• 在不改变学习率的情况下（0.001），将batchsize从10调整为15：SEG_Net2_loss1+2_TrainSize1600_Epoch160_BatchSize15_LR0.001TrainLoss:。在调整中，主要有两个改变：①指标相比于batchsize为10的时候有改善；②训练时间增加了。在batchsize为10的时候，每一个epoch的训练时间大概为1分25秒，当时间增长后，每一个epoch的训练时间变为2分14秒。

• 在batchsize为10的情况下，将学习率降低为0.0001：SEG_Net2_loss1+2_TrainSize1600_Epoch160_BatchSize10_LR0.0001TrainLoss。在本次调整中，主要有两个明显的改变：①与增大batchsize相比，这个波动明显更小了，但是这会导致指标下降，因为很长时间无法到达最低点；②训练时间没有改变。

• 在进行了两个尝试（①增加batchsize、②降低学习率）后，我有了新的思考，尝试将学习率取两者的一半，折中取为0.0005，损失下降情况与上图接近，且指标明显变好。
• 最后继续尝试了0.0003的学习率，在该指标下，效果最好。
• 在盐数据上进行学习率与batchsize的尝试后，我回想起之前在OpenFWI数据集上的尝试。 

        下面的前两张图片是当时在OpenFWI CurveVelA数据集上的实验记录（蓝色曲线代表训练集，橘色曲线代表验证集）：

• ①TU_Net_loss3_TrainSize24000_Epoch160_BatchSize20_LR0.001TrainLoss：

•  ②TU_Net_loss3_weight_TrainSize24000_Epoch180_BatchSize64_LR0.001TrainLoss：

• ③TU_Net_loss3_weight_TrainSize24000_Epoch160_BatchSize20_LR0.0001TrainLoss： 

•  ④TU_Net_loss3_weight_TrainSize24000_Epoch160_BatchSize20_LR0.0005TrainLoss：

•  ⑤TU_Net_loss3_weight_TrainSize24000_Epoch160_BatchSize20_LR0.0003TrainLoss

         在之前实验的时候，认为超参数对实验的影响不算很大。另外，最初选择参数时只使用了5000的数据集，这也会影响我们的判断。

        梯度下降算法的每次迭代都会受到学习率的影响：

• 如果学习率过小，那达到模型收敛所需要的迭代次数会非常高，训练时间会增加，且模型容易欠拟合；
• 如果学习率过大，那模型每次学习步长就会增大，很难达到最小值；

2.2 设计盐数据速度模型展示图

三、下周计划

1. 继续完成实验，并完善论文；
2. 准备组会分享内容；
3. 思考类似于热力图的展示图；