神经精神疾病具有复杂的病理机制、显著的临床异质性以及漫长的临床前期，这给早期诊断和精准干预策略的制定带来了挑战。

随着大规模多模态神经影像数据集的发展以及人工智能（AI）算法的进步，将多模态成像与 AI 技术相结合已成为早期发现神经精神疾病以及为其量身定制个性化治疗方案的关键途径。

2025 年 5 月 20 日，北京师范大学舒妮教授、南京航空航天大学黄伟杰副研究员在 Cell 子刊 Cell Reports Medicine上发表了题为：AI-powered integration of multimodal imaging in precision medicine for neuropsychiatric disorders的综述论文。

在这篇综述中，作者概述了多模态神经影像技术、人工智能方法以及多模态数据融合策略，强调了基于神经影像数据的多模态人工智能在神经精神疾病精准医疗中的应用，并探讨了其在临床应用中的挑战、新兴解决方案以及未来的发展方向。

神经精神疾病，例如阿尔茨海默病、自闭症、抑郁症等，如同一幅复杂的拼图：症状多样、病因隐蔽，传统诊疗方法常陷入“看不清全貌”的困境。近年，科学家们找到了一把新钥匙——通过人工智能（AI）整合多模态神经影像技术，让精准医疗在神经疾病领域迈出革命性一步。

一、多模态神经影像：给大脑做“全维度体检”

传统的单一脑部检查如同“盲人摸象”，而多模态影像技术能从结构、功能、分子三个维度全面解码大脑：

• 结构影像（例如 MRI）：高清呈现脑组织体积、皮层厚度，发现萎缩或异常增生；

• 功能影像（例如 fMRI、脑电图）：捕捉神经元活动信号，绘制“脑网络通信图”；

• 分子影像（例如 PET）：追踪淀粉样蛋白等病理标志物，提前 10-20 年预警阿尔茨海默病。

例如，自闭症儿童在 2 岁出现行为异常前，磁共振成像（MRI）已能检测到出生后的皮层过度生长，为早期干预争取黄金时间。

多模态神经影像技术与分析

二、AI如何成为“拼图高手”？

面对海量异构数据，人工智能（AI）展现三大绝技：

1、特征融合术

早期融合（直接拼接数据）、中期融合（分层提取特征）、晚期融合（综合决策），像智能拼图师般整合不同影像信息。

2、深度学习模型

• 图神经网络（GNN）：解析脑网络连接模式；

• Transformer：处理跨模态时空关联。

3、临床预测神器

在 ADNI 等大型数据库中，多模态 AI 模型将阿尔茨海默病早期诊断准确率提升至 92.7%，比单模态提高 15% 以上。

三、实战成绩单：AI正在改变什么？

1、精准诊断

结合磁共振成像（MRI）与正电子发射断层扫描（PET），区分阿尔茨海默病与路易体痴呆的准确率达 87%；融合脑电图与功能影像，对癫痫发作预测准确率超 98%。

2、预后预测

通过脑结构与功能网络特征，AI 可预测抑郁症药物疗效（准确率89%），判断认知衰退速度，甚至估算“大年龄”评估疾病风险。

3、患者分型

在 2000+ 例双相情感障碍患者中，AI 发现 3 种亚型，为个性化治疗指明方向。

多模态AI在精准医疗中的应用

四、挑战与突破：通往临床之路

神经影像数据在精准医疗中的多模态整合所固有的挑战大致可分为三类：数据可用性、数据异质性以及 AI 模型的可解释性。

当考虑多模态神经影像学时，这三个挑战会显得更为突出。在 AI 应用于神经影像学方面，还存在三个广泛存在的挑战：类别不平衡、算法偏差和数据隐私。这六类挑战以及克服它们的潜在策略如下图所示。

多模态整合的挑战

五、未来研究方向

近年来，人工智能领域见证了深度学习技术在多模态特征融合方面的广泛应用。基于深度学习的方法在跨各种应用集成多模态数据方面已显示出令人瞩目的成果。

1、Transformer 革命：类 ChatGPT 的跨模态模型，或将统一处理影像、基因、临床数据；

2、动态监测网络：实时追踪脑网络变化，捕捉疾病转折点；

3、临床落地闭环：开发轻量化模型，让 AI 助手嵌入 MRI/PET 设备，快速内输出辅助报告。

总体而言，现有的研究对临床有效性和临床可用性的考量不足。未来的研究应当将这些临床概念结合起来，开发出能够真正应用于临床实践的人工智能模型。

在过去十年中，利用多模态神经影像的人工智能方法在推进神经精神疾病精准医疗方面取得了显著进展。研究一致表明，在各种诊断和预测任务中，结合多模态神经影像数据的人工智能模型优于单一模态的模型。尽管取得了这些进展，但要从研究过渡到临床应用仍需克服若干挑战。诸如人工智能系统的可解释性、算法偏差和数据隐私等关键问题仍未得到充分探索，需要进一步关注。此外，解决与数据可用性、数据异质性和类别不平衡相关的问题对于推进基于多模态神经影像的稳健人工智能模型的发展至关重要。尽管该领域仍在不断发展，但由多模态神经影像驱动的人工智能的潜力是毋庸置疑的。它作为神经精神疾病精准医疗未来的一个有前景的方向，为更高效、更精准和更普遍可及的疾病检测和治疗策略提供了前景。

论文链接：