分享自:

基于语音和面部表情的机器学习模型在轻度认知障碍老年人中检测抑郁、焦虑和淡漠的应用

期刊:international journal of nursing studiesDOI:10.1016/j.ijnurstu.2023.104562

本研究由北京协和医学院护理学院的周滢、韩伟、姚秀钰、薛佳俊、李峥以及中国医学科学院生物医学工程研究所的李迎新等研究人员共同完成,发表于International Journal of Nursing Studies第146卷,文章编号104562,于2023年由Elsevier Ltd.出版。研究团队由护理学、老年医学、生物医学工程和统计学专家组成,是一支跨学科研究队伍。该研究在中国临床试验注册中心完成注册,注册号为ChiCTR1900023892。

从学术背景来看,该研究属于护理学、老年精神病学与人工智能交叉领域。随着全球人口老龄化加剧,痴呆症已成为严重的公共卫生问题。轻度认知损害(mild cognitive impairment, MCI)是介于正常衰老与痴呆之间的过渡状态,早期识别MCI并采取积极干预措施对于延缓痴呆发生至关重要。抑郁、焦虑和淡漠是MCI老年人群中最为常见且具有临床意义的神经精神症状,其发生率分别约为40.0%、31.2%和39.5%。这些情绪症状不仅是MCI向痴呆转化的预测因素,而且与功能残疾加重、生活质量下降和照护者负担增加密切相关。然而,由于这些症状在临床上常相互重叠且有时难以区分,传统的心理量表评估容易受评定者主观偏倚影响且耗时较长,因此亟需开发客观、灵敏且便于连续监测的评估工具。言语和面部表情作为难以掩饰的情绪表达途径,可通过数字化设备便捷采集,结合机器学习技术有望实现对抑郁、焦虑和淡漠的客观识别与区分。本研究旨在开发一个可解释的机器学习分类模型,利用言语和面部表情特征检测并区分MCI老年人中的抑郁、焦虑和淡漠。

研究采用横断面观察性设计,于2021年1月至12月在北京一家三级甲等医院的记忆门诊招募了319例经神经科医生依据Petersen标准确诊的MCI老年人,所有参与者年龄在60岁及以上且能以普通话流利交流。研究流程主要包括以下步骤:首先,由两名经过培训且经验丰富的老年科护士分别使用患者健康问卷(PHQ-9)、广泛性焦虑障碍量表(GAD-7)和淡漠评估量表临床版(AES-C)对参与者进行抑郁、焦虑和淡漠症状评估。三名量表均显示出良好的内部一致性,Cronbach’s alpha分别为0.85、0.86和0.88。根据量表划界分,参与者被分为七组:正常组126例(39.5%)、单纯抑郁组27例(8.5%)、单纯焦虑组13例(4.1%)、单纯淡漠组66例(20.7%)、抑郁焦虑共病组25例(7.8%)、抑郁淡漠共病组25例(7.8%)、三种情绪共病组37例(11.6%)。其次,进行言语和面部表情数据的采集。言语任务采用图片描述范式,参与者被要求描述来自中国情绪图片系统(CFAPS)的中性、正性和负性情绪图片内容并表达感受。音频通过讯飞S702录音软件以48 kHz采样率和16位编码记录为WAV格式。面部表情任务则要求参与者在静息位注视前方60秒,使用USB摄像头以640×480像素、25帧/秒采集视频数据。所有采集均在光照适宜、温度控制在25-26°C、环境噪声低于40 dB的标准房间内完成。第三,进行特征提取。言语特征使用扩展版日内瓦极简声学参数集(eGeMAPS)提取88个声学特征,涵盖频率相关特征(如基频F0、共振峰F1-F3及其带宽、抖动)、能量相关特征(如闪烁、响度、谐波噪声比)、频谱相关特征(如alpha比、Hammarberg指数、频谱斜率、梅尔频率倒谱系数MFCC 1-4、频谱通量)以及多个时间相关特征(如语速、停顿时长、发声比例等)。文本情感特征使用情感知识增强预训练模型SKEP工具包进行情感分析,提取了与图片情感效价相对应的6个文本特征。面部特征使用开源OpenFace 3.0软件提取面部动作编码系统(FACS)中的动作单元(AU),包括AU1、AU2、AU4、AU5、AU6、AU7、AU9、AU10、AU11、AU12、AU14、AU15、AU17、AU20、AU23、AU25、AU26、AU28和AU45的强度和出现情况。第四,进行数据预处理和模型开发。将言语、文本和面部特征拼接后进行Z-score标准化,使用合成少数类过采样技术(SMOTE)和Tomek links处理类别不平衡问题。采用随机森林、逻辑回归、支持向量机、K近邻、朴素贝叶斯、梯度提升和XGBoost七种分类器进行多分类建模,使用Hyperopt进行超参数优化,采用10折交叉验证防止过拟合,并进行1000次自助法验证模型可靠性。模型性能以准确率、精确率、召回率、F1分数和受试者工作特征曲线下面积(AUROC)评价,以加权F1分数和AUROC作为最优模型选择依据。最后,使用SHAP(SHapley Additive exPlanations)方法对最优模型进行可解释性分析,计算每个特征对模型输出的边际贡献。

研究结果显示,随机森林分类器在七种分类器中表现最佳,最终七分类情绪分类模型取得了96.6%的加权平均F1分数,准确率为87.4%,精确率为86.6%,召回率为87.6%,AUROC同样优于其他分类器。SHAP分析揭示了模型的关键特征及其影响方向。总体来看,AU15(嘴角下压)的出现情况、F2带宽、F3、F1和AU23(唇收紧)的强度是排名前五的影响特征。在分类方向上,AU15出现减少与正常组分类可能性增加相关。抑郁、焦虑和淡漠三组共享AU15、F1和F2等特征,但影响方向存在差异:AU15出现增加与抑郁和焦虑可能性增加相关,而AU15出现减少则与淡漠风险增加相关;F2与焦虑呈正相关,与抑郁和淡漠呈负相关。在特异性特征方面,MFCC4水平升高与抑郁可能性增加相关,频谱通量与抑郁呈负相关;AU9(鼻皱)出现和AU25(唇分开)强度增加与焦虑可能性升高相关,Hammarberg指数与焦虑正相关而MFCC4与之负相关;AU9和AU17(下巴抬起)出现减少及AU20(唇伸展)强度降低与淡漠相关。对于共病组,F2升高与抑郁焦虑共病可能性增加相关;文本语义特征4、闪烁和频谱斜率与抑郁淡漠共病呈负相关;较低的alpha比与三种情绪共病可能性增加相关。这些结果揭示了不同情绪状态在言语声学和面部表情上的共享特征与特异性特征,为分类模型提供了可解释的生理行为学依据。

本研究的结论表明,抑郁、焦虑和淡漠在言语和面部表情特征上既有共享又各有独特表现,且共病状态呈现出不同于单一症状的特征组合。结合文本、音频和视频的多模态数据可为MCI老年人这些情绪症状的精确分类和远程监测提供客观方法。研究为护理实践中开发可穿戴设备、移动应用等数字化智能临床工具奠定了理论基础,也为未来开展大规模外部验证、探讨不同文化语言背景下的模型泛化性以及将主观量表与客观指标相结合实现情绪精准识别指明了方向。该研究的亮点在于:首次在中国MCI老年人群中建立了基于言语和面部表情的可解释多分类机器学习模型,成功区分了正常、单纯抑郁、单纯焦虑、单纯淡漠及其共病等七种情绪状态;创新性地整合了文本、音频和视频三类数据;采用SHAP方法提升了模型的可解释性,使特征贡献方向和强度得以可视化呈现;同时揭示了淡漠与焦虑在无抑郁时不共存的现象,提示抑郁可能在二者关系中发挥中介作用,为理解这些复杂情绪症状的内在联系提供了新视角。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com