题目：HartleyMHA: Self-Attention in Frequency Domain for Resolution-Robust and Parameter-Efficient 3D Image Segmentation

摘要

尽管自我注意力可以捕获远距离依赖关系，但它在图像大小上存在二次复杂度，尤其是在 3D 中。为了避免训练期间出现内存不足错误，3D 分割通常需要减小输入大小，但当将训练的模型应用于原始图像大小时，精度可能不理想。为了解决这一局限性，

受傅里叶神经算子 （FNO） 的启发，本文引入了 HartleyMHA 模型，该模型具有强大的功能，可以训练具有高效自注意力的图像分辨率。FNO 是一个深度学习框架，用于学习偏微分方程中函数之间的映射，它具有零样本超分辨率和全局感受野的吸引人的特性。通过使用具有共享参数的 Hartley 变换来修改 FNO，以将模型大小减小几个数量级，这使我们能够在频域中进一步应用自注意力，以获得更具表现力的高阶特征组合，并提高效率。在 BraTS'19 数据集上进行测试时，与其他模型参数不到 1% 的测试模型相比，它在训练图像分辨率方面取得了优异的鲁棒性

方法

FNO公式

W为可学习的线性转换，u为函数（文中没有详细说明），k为核函数，Kut为卷积傅里叶变换，

本文的HNO，由于 FNO 需要在频域中进行复数运算，因此存储器和浮点运算等计算要求高于实数。改用哈特利变换，是傅里叶变换 的积分变换替代方案。哈特利变换 （H） 将实值函数转换为实值函数，这与傅里叶变换相关

本文结构如下

实验结果

大家有机会可以实验一下