近日，中国科学院合肥物质院健康所李海研究员团队在利用语音信号辅助评估阿尔茨海默病（AD）的研究中取得重要进展。相关成果发表在计算机与医学领域TOP期刊IEEE Journal of Biomedical and Health Informatics上。

阿尔茨海默病是最常见的神经退行性疾病，随着患病率逐年上升，早期检测和评估对改善患者生活质量至关重要。研究表明，语言功能衰退是AD患者认知功能下降的早期表现之一。近年来，自动化言语分析因其无创、便捷和低成本等特点成为AD检测领域的研究热点。然而，当前研究普遍存在模型复杂度高、可解释性差的问题，同时未能充分挖掘不同模态间的交互信息，影响了检测精度，也限制了自动化言语分析在临床中的进一步推广。

为解决这一挑战，研究团队提出了一种联合混合注意力机制与多模态表征的多任务学习框架（DEMENTIA）。该框架结合大语言模型技术，融合了语音、文本和专家知识，通过混合注意力机制充分捕获模态内及模态间的交互关系，提高了AD检测精度，并且可以预测认知功能评分。此外，团队对各模态表征及决策进行了详尽的可解释性分析，验证了模型对临床决策的支持能力，并测试了模型的泛化性能。总之，团队的研究成果展现了言语在AD早期筛查与认知衰退监测方面的巨大潜力，对应对人口老龄化带来的认知衰退问题有重要科研和社会价值。

李海研究员一直致力于基于语音的认知、心理评估研究，并取得了一系列成果。课题组发展了通用言语认知评估技术和框架，不仅能够协助老龄化社会的痴呆防治工作，也有望应用于青少年心理健康监测和学生心理评估等方面。

该论文的第一作者为健康所博士研究生张政霖，通讯作者为李海研究员和杨立状副研究员。本研究得到了国家自然科学基金、安徽省自然科学基金、中国科学院合肥物质院院长基金和安徽省重点研发项目的支持。

文章链接：https://ieeexplore.ieee.org/document/10806741

课题组相关工作：

https://www.sciencedirect.com/science/article/abs/pii/S0167639323001450

https://onlinelibrary.wiley.com/doi/10.1002/aisy.202300097

https://www.sciencedirect.com/science/article/abs/pii/S0885230823000669

https://karger.com/dem/article-abstract/52/4/240/854851/Explainable-Alzheimer-s-Disease-Detection-Using?redirectedFrom=fulltext

https://link.springer.com/article/10.3758/s13428-023-02104-6

联合混合注意力机制与多模态表征的多任务学习AD评估框架