Transformer+MIA Future Work

主要的挑战和未来发展分为三个部分，即

1、特征集成和计算成本降低、

2、数据增强和数据集收集、

3、学习方式和模态-对象分布

1、特征集成和计算成本降低

为了同时捕获局部和全局特征来提高模型性能，目前大多数工作只是简单地将CNN和变压器杂交，例如将变压器编码器块插入CNN模型中。然而，以这种方式将本地特色与全球特色相结合，可能还不够坚定。为了使CNN和变压器更紧密地集成，可以通过使变压器免受CNN固有的电感偏置的影响来实现双重方法。一方面，CNN中的感应偏置可以带回变压器[457-459]。另一方面，变压器可以在互学习框架下与CNN同时学习[460]。由于输入尺寸的二次计算复杂度，计算成本高一直是变压器不可避免的问题，特别是在图像分辨率高的情况下。然而，很少有作品提到或试图解决这个问题。为了提高变压器的训练效率，可以考虑更多的注意力计算方法，如移位窗口注意[49]、高效注意[461]、多头线性自注意[462]等。此外，变压器中的投影参数可以在不同的层次上共享。通过计算模型的FLOPs和参数个数，可以定量评价模型的复杂度，并进行进一步的比较。

2、数据扩充和数据集收集

在MIA领域中，数据不足往往会影响模型的性能。数据增强技术是解决这一问题的一个重要研究方向。然而，据我们所见，许多与变压器相关的作品并没有深入研究。大多数工作只使用传统的数据增强技术，如轮作、作物和翻转。到目前为止，很少有研究利用先进的数据增强方法，如基于gan的方法来合成图像。尽管如此，由于基本GAN合成的图像的质量和分辨率难以保证，所实现的基本GAN也不能被认为是先进的。在使用低质量甚至重复(例如，模型崩溃)合成图像进行训练的情况下，模型性能的有效性值得怀疑。例如，一个分类模型可以在一个数据集上显示出非常高的准确率，但是数据集中可能存在数千个重复的合成图像，这些图像被正确分类。为了更好地增强数据，应该考虑最先进的图像合成模型。例如，适合小型数据集的GAN，如StyleGAN2-ADA[463]，独立的空间和外观变换模型[59]，以及扩散概率模型，如3D-DDPM[60]。我们观察到的另一个问题是，许多入选的论文只将模型性能与几个经典模型进行比较，而没有包括其他作者为MIA设计的模型。这对于非主流模式和对象来说尤其常见。造成这种情况的主要原因之一是缺乏广泛接受的基准标记数据集，如ImageNet[464]。因此，新的高质量医疗数据集的收集和出版可以使这一研究领域受益匪浅。构建这样的数据集也有利于MIA领域迁移学习技术的发展。根据我们的观察，虽然迁移学习在MIA领域得到了广泛的应用，但大多数都是从ImageNet迁移过来的。由于自然图像和医学图像具有不同的数据贡献，因此从医学数据集进行迁移可以进一步提高模型的性能。

3、学习方式和模态-对象分布

有几种最先进的学习方式，如弱监督学习和无监督学习，可以减少对数据标记的需求。然而，这些方法并没有广泛应用于基于变压器的MIA工程中。在模态-物分布方面，现有的大部分作品主要集中在几种主流模态上，如图8所示。然而，在这些主流模式和对象之外，还有许多未开发的研究潜力。在方式方面，目前的研究主要集中在MRI, CT, x射线和显微镜成像。尽管美国是一种重要的医学影像模式，但尚未得到充分的调查。在对象方面，目前的工作主要集中在大脑、胸部、腹部和心脏，而视网膜等其他对象有待进一步研究。

参考：

Recent progress in transformer-based medical image analysis