题目:HartleyMHA: Self-Attention in Frequency Domain for Resolution-Robust and Parameter-Efficient 3D Image Segmentation
摘要
尽管自我注意力可以捕获远距离依赖关系,但它在图像大小上存在二次复杂度,尤其是在 3D 中。为了避免训练期间出现内存不足错误,3D 分割通常需要减小输入大小,但当将训练的模型应用于原始图像大小时,精度可能不理想。为了解决这一局限性,
受傅里叶神经算子 (FNO) 的启发,本文引入了 HartleyMHA 模型,该模型具有强大的功能,可以训练具有高效自注意力的图像分辨率。FNO 是一个深度学习框架,用于学习偏微分方程中函数之间的映射,它具有零样本超分辨率和全局感受野的吸引人的特性。通过使用具有共享参数的 Hartley 变换来修改 FNO,以将模型大小减小几个数量级,这使我们能够在频域中进一步应用自注意力,以获得更具表现力的高阶特征组合,并提高效率。在 BraTS'19 数据集上进行测试时,与其他模型参数不到 1% 的测试模型相比,它在训练图像分辨率方面取得了优异的鲁棒性
方法
FNO公式
W为可学习的线性转换,u为函数(文中没有详细说明),k为核函数,Kut为卷积傅里叶变换,
本文的HNO,由于 FNO 需要在频域中进行复数运算,因此存储器和浮点运算等计算要求高于实数。改用哈特利变换,是傅里叶变换 的积分变换替代方案。哈特利变换 (H) 将实值函数转换为实值函数,这与傅里叶变换相关
本文结构如下
实验结果
大家有机会可以实验一下
本文暂时没有评论,来添加一个吧(●'◡'●)