特征融合篇 | YOLOv10 引入动态上采样模块 | 超过了其他上采样器

本改进已集成到YOLOv8-Magic 框架

论文名称：《Learning to Upsample by Learning to Sample》

论文地址：https://arxiv.org/abs/2308.15085

代码地址：https://github.com/tiny-smart/dysample

我们提出了 DySample，一种超轻量级且有效的动态上采样器。尽管最近基于内核的动态上采样器（如 CARAFE，FADE 和 SAPA）取得了令人印象深刻的性能提升，但它们引入了大量工作量，主要是由于耗时的动态卷积和用于生成动态内核的附加子网络。此外，FADE 和 SAPA 对高分辨率特征引导的需求在一定程度上限制了它们的应用场景。为了解决这些问题，我们绕过动态卷积，从点采样的角度制定上采样，这更具资源效率，并且可以很容易地使用 PyTorch 中的标准内置函数实现。我们首先展示了一个朴素的设计，然后演示了如何逐步加强其上采样行为，直至我们的新上采样器 DySample。与以前基于内核的动态上采样器相比，DySample 不需要定制的 CUDA 包，参数、FLOPs、GPU 内存和延迟都要少得多。 除了轻量级特性外，DySample 在包括语义分割、目标检测、实例分割、全景分割和单目深度估计在内的五个密集预测任务中表现优异，超过了其他上采样器。

图 1：不同上采样器的性能、推理速度和 GFLOPs 的比较。圆圈大小表示 GFLOPs 成本。推理时间通过 ×2 上采样大小为 256×120×120 的特征图进行测试。mIoU 性能和额外的 GFLOPs 是在 ADE20K 数据集[42]上使用 SegFormer-B1[40]进行测试的。