【干货】深度学习调参秘籍【表格】
深度学习调参秘籍：从优化器到激活函数的全面解析
——让你的深度学习模型性能飙升的八大技巧
参考文献：
深度学习调参有哪些技巧？ - 知乎 https://www.zhihu.com/question/25097993
核心结论：深度学习调参是提升模型性能的关键。通过选择合适的优化器、合理设置学习率、调整batch大小、利用随机种子、应用学习率衰减、尝试不同的网络初始化方法、增加各种norm以及选择合适的激活函数，可以有效提升深度学习模型的性能。
【表格】深度学习调参技巧
| 序号 | 调参技巧 | 具体操作 | 关键参数/组件 | 备注 |
|---|---|---|---|---|
| 1 | 选择优化器 | 优先考虑Adam优化器 | Adam | 对大多数问题都有不错的效果 |
| 2 | 设置学习率 | 从1e-3、3e-4、1e-4开始尝试，用类似二分的方法迭代搜索最佳学习率 | 学习率 | 需要多次尝试以找到最佳设置 |
| 3 | 调整batch大小 | 并非越大越好，有时减小batch大小能提升网络性能 | batch大小 | 需根据具体任务和硬件资源进行调整 |
| 4 | 利用随机种子 | 指定批量跑一批随机种子，选loss下降的随机种子进行深度训练 | 随机种子 | 适用于数据集不大且性能接近基线系统的情况 |
| 5 | 应用学习率衰减 | 设置指数衰减的scheduler，衰减率0.99 | 学习率衰减率 | 有助于模型在训练过程中逐渐稳定 |
| 6 | 尝试不同的网络初始化方法 | 尝试除PyTorch默认初始化方法外的其他初始化方法 | 网络初始化方法 | 有助于模型在训练初期更容易收敛 |
| 7 | 增加各种norm | 为网络增加batchnorm、weightnorm、layernorm、groupnorm等 | norm层 | 有助于提升模型性能，且代码改动不大 |
| 8 | 选择合适的激活函数 | 优先考虑relu，也可以尝试leakyrelu和prelu | 激活函数 | relu在大多数情况下表现不错，但也可尝试其他选择 |
关键点关系描述：
- 优化器选择是深度学习调参的第一步，Adam优化器因其良好的效果而成为首选。
- 学习率设置对模型性能有重要影响，需要通过多次尝试和迭代搜索来找到最佳值。
- batch大小并非一成不变，根据具体任务和硬件资源进行调整，有时减小batch大小能带来意想不到的效果。
- 随机种子的利用可以在数据集不大且性能接近基线系统时，为模型性能带来突破。
- 学习率衰减有助于模型在训练过程中逐渐稳定，提高模型的泛化能力。
- 网络初始化方法的尝试可以帮助模型在训练初期更容易收敛，避免陷入局部最优。
- 增加norm层是一种有效的提升模型性能的方法，且对代码改动不大。
- 激活函数的选择也会影响模型性能，relu是常用的选择，但也可以尝试其他激活函数以找到最佳效果。
Keywords：Deep learning, tuning parameters, optimizer, learning rate, batch size, random seed, learning rate decay, network initialization, norm, activation function.
关键词
#深度学习 #调参 #优化器 #学习率 #batch大小 #随机种子 #学习率衰减 #网络初始化 #norm #激活函数