科研报道|代谢磁共振超分辨增强——借力高分辨结构像的DANCE网络

清华大学生物医学影像研究中心科研成果发表于《Medical Image Analysis》

多对比磁共振影像（Multi-contrast MRI），又称多参数磁共振，具有多角度全面反应人体组织的生理、功能和分子代谢信息的独特优势，在临床中广泛应用。然而，受限于信号强度与采集时长，某些对比的磁共振图像实际中难以获得高分辨率图像。例如：同样空间分辨率下，T2w-MRI往往比T1w-MRI需要更长的采集时间；而探测非水质子的代谢磁共振，包括核磁谱成像和酰胺质子转移加权（APTw）图像等，更是由于其低分辨率和长采集时间难以在临床推广。

瞄准上述瓶颈，研究团队提出了借助同一受试高分辨结构像进行代谢图像超分辨增强的方法。该方法采用基于可变形注意力和邻域特征聚合机制的深度学习算法（DANCE），在公开数据集IXI、FastMRI和一个实验室自采的APTW人脑数据集的超分辨率任务中均取得最佳表现。上述工作以Multi-contrast Image Super-Resolution with Deformable Attention and Neighborhood-Based Feature Aggregation (DANCE): Applications in Anatomic and Metabolic MRI为题发表于医学图像领域顶级期刊Medical Image Analysis（2023 IF=10.7）。

清华大学生物医学工程学院生物医学影像研究中心博士生陈文轩为论文第一作者；论文的通讯作者为生物医学影像研究中心宋小磊研究员、田启源研究员；论文的作者还包括生物医学影像研究中心硕士生武思睿（已毕业）、王帅（已毕业）和李中森等人。

本研究借鉴了自然图像领域基于参考图像的超分辨率（Reference-based Super-resolution）算法，并依据人体MRI的视野特点进行了改进。比如，病人多对比度磁共振之间由于器官运动和FOV改变往往存在错位（Misalignment），导致输出图像质量显著下降。据此，研究者提出了一种基于可变形注意力和基于邻域的特征聚合机制的深度学习算法（DANCE），其框架图1左图所示。

图1：DANCE网络结构（左）以及在不同对比结构像（右上）和APTW代谢磁共振像（右下）的超分辨重建效果示意

DANCE首先利用深度神经网络作为编码器，分别提取低分辨率图像（LR）和参考高分辨的不同对比图像（Ref）的多尺度特征。为校正不同对比图像之间的错位（misalignment），我们结合了跨模态注意力机制（Cross-modal Attention）的特征粗匹配和可变形卷积（Deformable Convolution）以获得在x、y轴上的偏移量；接着依据此偏移量作为光流场，对Ref特征进行变形操作（Warping Operation）。而基于邻域的特征聚合模块，则依据目标对比度LR图像的每处特征，提取高分辨Ref特征图对应邻域内所有的补丁并进行特征融合。此步骤的意义在于，即使上一步估计的未对准不够精确，也能提供很好的语义融合效果。最后，模型利用解码器获得高分辨率图像输出。

DANCE首先在两个磁共振公开数据集（IXI、FastMRI）上进行了测试，均证明了比现有算法在超分辨重建准确度的提升。特别是对于IXI数据集中未对准的（Misaligned）子集，DANCE算法在定性和定量评估中都显示出了巨大的进步。而在研究组自采的酰胺质子转移加权（APTw）图像的测试结果表明，DANCE方法优于现有方法，且在参数量与计算效率上具有优势。未来，研究团队将在更多临床应用中评估所提出的多对比度超分辨率算法。

相关研究得到了国家重点研发计划、国家自然科学基金以及清华大学专项基金的支持。此前，宋小磊课题组还应用AI技术进行了CEST和APT加速，超分辨重建和后处理分析。