买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉成都信息工程大学申请的专利一种基于多层次特征融合的多模态抑郁症识别系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118888154B 。

龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410900779.6，技术领域涉及：G16H50/70；该发明授权一种基于多层次特征融合的多模态抑郁症识别系统是由郑文斌;杨宇杰;安俊秀设计研发完成，并于2024-07-05向国家知识产权局提交的专利申请。

本一种基于多层次特征融合的多模态抑郁症识别系统在说明书摘要公布了：本发明公开了一种基于多层次特征融合的多模态抑郁症识别系统，涉及多模态融合技术领域，所述系统包括：获取单元：用于获取多模态抑郁症数据，对所述多模态抑郁症数据进行预处理，获得多模态数据；第一特征单元：用于对所述多模态数据进行特征提取获得单模态的低级抑郁特征；对所述低级抑郁特征进行特征提取，获得单模态的高级抑郁特征；融合单元：用于时间维度、空间维度和所述高级抑郁特征，获得时空融合抑郁特征；关系图单元：用于所述时空融合抑郁特征和所述高级抑郁特征，获得模态融合关系图E；第二特征单元：用于对所述模态融合关系图E的模态的平衡关系进行处理，获得多模态抑郁特征；预测单元：用于将所述多模态抑郁特征输入抑郁预测模块，获得预测结果，可以解决现有多模态抑郁症识别模型缺少对每种模态内部具有高情绪感知特征的关注和对模态自身内部价值差异的处理，导致模型预测的精准度和泛化能力较差的问题。

本发明授权一种基于多层次特征融合的多模态抑郁症识别系统在权利要求书中公布了：1.一种基于多层次特征融合的多模态抑郁症识别系统，其特征在于，所述系统包括：获取单元：用于基于采集设备获取多模态抑郁症数据，基于处理器对所述多模态抑郁症数据进行预处理，获得多模态数据；第一特征单元：用于对所述多模态数据进行特征提取获得单模态的低级抑郁特征；对所述低级抑郁特征进行特征提取，获得单模态的高级抑郁特征；融合单元：用于时间维度、空间维度和所述高级抑郁特征，获得时空融合抑郁特征；关系图单元：用于所述时空融合抑郁特征和所述高级抑郁特征，获得模态融合关系图E；第二特征单元：用于对所述模态融合关系图E的模态的平衡关系进行处理，获得多模态抑郁特征；预测单元：用于将所述多模态抑郁特征输入抑郁预测模型，获得预测结果，将所述预测结果传输至显示设备；所述获取单元具体包括：数据单元：用于基于所述采集设备获取所述多模态抑郁症数据；划分单元：用于基于文件格式划分所述多模态抑郁症数据获得第一数据，所述第一数据包括音频数据、视频数据和文本数据；音频单元：用于对所述音频数据进行特征提取获得音频特征，所述音频特征包括第一音频特征MFCC、第二音频特征eGeMAPS和第三音频特征Wav2Vec2；视频单元：用于对所述视频数据进行特征提取获得视频特征，所述视频特征包括第一视频特征AUs、第二视频特征Gaze和第三视频特征Pose；文本单元：用于对所述文本数据进行分词和编码获得第二数据，基于预训练模型DepRoBERTa对所述第二数据进行特征提取获得文本特征；切片单元：用于对所述音频特征、所述视频特征和所述文本特征进行切片，获得所述多模态数据；所述第一特征单元具体包括：第一高级单元：用于分别统一所述音频特征和所述视频特征的维度，获得第一特征和第二特征，分别增强所述第一特征和所述第二特征的权重，获得高级音频抑郁特征Fa和高级视频抑郁特征Fv；第二高级单元：用于捕捉所述文本特征的上下文之间的关联，获得关联文本特征，对所述关联文本特征进行加权，获得所述高级文本抑郁特征Ft；第三高级单元：用于基于所述高级音频抑郁特征Fa、所述高级视频抑郁特征Fv和所述高级文本抑郁特征Ft获得所述高级抑郁特征；所述融合单元具体包括：第一融合单元：用于将所述高级音频抑郁特征Fa和所述高级视频抑郁特征Fv分别进行拼接获得音频融合特征F1a和视频融合特征F1v；将所述音频融合特征F1a和所述视频融合特征F1v分别进行转置，获得音频融合特征张量A和视频融合特征张量B；第二融合单元：用于基于所述时间维度和所述空间维度，将所述音频融合特征张量A和所述视频融合特征张量B分别进行融合，获得时空音频融合抑郁特征F2a和时空视频融合抑郁特征F2v；基于所述时空音频融合抑郁特征F2a和所述时空视频融合抑郁特征F2v获得所述时空融合抑郁特征；获得所述音频融合特征F1a和所述视频融合特征F1v的第一计算方式为： 其中，F1a和F1v分别表示音频融合特征和视频融合特征，表示拼接，和分别表示第一音频特征MFCC、第二音频特征eGeMAPS和第三音频特征Wav2Vec2，和分别表示第一视频特征AUs、第二视频特征Gaze和第三视频特征Pose；获得所述时空音频融合抑郁特征F2a的具体方式包括：基于所述时间维度，将所述音频融合特征张量A输入至前馈神经网络，经激活函数处理后，再次输入至前馈神经网络，获得第一融合特征A1；将所述第一融合特征A1进行转置，获得第一特征张量A2；基于所述空间维度，将所述第一特征张量A2输入至前馈神经网络，经激活函数处理后，再次输入至前馈神经网络，获得所述时空音频融合抑郁特征F2a；获得所述时空音频融合抑郁特征F2a的第二计算方式为：A1＝MLPηMLPF1aT；F2a＝MLPηMLPA1T；获得所述时空视频融合抑郁特征F2v的具体步骤包括：基于所述时间维度，将所述视频融合特征张量B输入至前馈神经网络，经激活函数处理后，再次输入至前馈神经网络，获得第二融合特征B1；将所述第二融合特征B1进行转置，获得第二特征张量B2；基于所述空间维度，将所述第二特征张量B2输入至前馈神经网络，经激活函数处理后，再次输入至前馈神经网络，获得所述时空视频融合抑郁特征F2v；获得所述时空视频融合抑郁特征F2v的第三计算方式为：B1＝MLPηMLPF1vT；F2v＝MLPηMLPB1T；其中，A1和B1分别表示第一融合特征A1和第二融合特征B1，F1a和F1v分别表示音频融合特征和视频融合特征，F2a和F2v分别表示时空音频融合抑郁特征和时空视频融合抑郁特征，MLP表示前馈神经网络，η表示激活函数，T表示转置；所述关系图单元具体包括：单模态单元：用于将所述时空音频融合抑郁特征F2a、所述时空视频融合抑郁特征F2v和所述高级文本抑郁特征Ft分别定义为一个节点张量，获得听觉节点张量、视觉节点张量和文本节点张量，分别记为Na＝F2a、Nv＝F2v、Nt＝Ft，第一节点集合V1定义为：V1＝{Na，Nv，Nt}，基于所述第一节点集合V1获得单模态节点层；双模态单元：用于基于所述单模态节点层，获取所述第一节点集合V1的任意一个节点张量，获得第一节点张量，将所述第一节点张量与非所述第一节点张量进行相似性结合，获得第二节点集合V2，所述第二节点集合V2定义为：V2＝{Nav，Nat，Nva，Nvt，Nta，Ntv}；获取所述第二节点集合V2的任意一个节点张量，获得第二节点张量，将所述第二节点张量与构成所述第二节点张量的所有所述第一节点张量之间均建立一条边，获得第一矩阵E1，基于所述第一矩阵E1获得双模态节点层；其中，Nav表示将听觉节点张量和视觉节点张量进行相似性结合后获得的节点张量；Nat表示将听觉节点张量和文本节点张量进行相似性结合后获得的节点张量；Nva表示将视觉节点张量和听觉节点张量进行相似性结合后获得的节点张量；Nvt表示将视觉节点张量和文本节点张量进行相似性结合后获得的节点张量；Nta表示将文本节点张量和听觉节点张量进行相似性结合后获得的节点张量；Ntv表示将文本节点张量和视觉节点张量进行相似性结合后获得的节点张量；多模态单元：用于将所有所述第二节点张量进行两两拼接，获得聚合特征矩阵E2，所述聚合特征矩阵E2定义为：E2＝{Mav，Mat，Mva，Mvt，Mta，Mtv}；将所述单模态节点层、所述双模态节点层和所述聚合特征矩阵E2的节点进行聚合，获得第三节点集合V3，所述第三节点集合V3定义为：V3＝{fav，fat，fva，fvt，fta，ftv}；将所述第三节点集合V3的任意两个结点张量之间均建立一条边，获取所述第三节点集合V3的任意一个节点张量，获得第三节点张量，将所述第三节点张量与所述第三节点张量的父节点张量之间建立一条边，获得第二矩阵E3，基于所述第二矩阵E3获得多模态节点层；其中，Mav表示第二节点张量Nav和每个第二节点张量进行拼接后获得的节点；Mat表示第二节点张量Nat和每个第二节点张量进行拼接后获得的节点；Mva表示第二节点张量Nva和每个第二节点张量进行拼接后获得的节点；Mvt表示第二节点张量Nvt和每个第二节点张量进行拼接后获得的节点；Mta表示第二节点张量Nta和每个第二节点张量进行拼接后获得的节点；Mtv表示第二节点张量Ntv和每个第二节点张量进行拼接后获得的节点；其中，fav表示节点Mav聚合后获得的节点，fat表示节点Mat聚合后获得的节点，fva表示节点Mva聚合后获得的节点，fvt表示节点Mvt聚合后获得的节点，fta表示节点Mta聚合后获得的节点，ftv表示节点Mtv聚合后获得的节点；融合关系图单元：用于基于所述第一矩阵E1和所述第二矩阵E3获得所述模态融合关系图E，所述模态融合关系图E定义为：E＝{E1，E3}；所述第二特征单元具体包括：节点单元：用于基于所述第一节点集合V1、所述第二节点集合V2和所述第三节点集合V3，获得节点集合V，所述节点集合V定义为：V＝{V1，V2，V3}；权重单元：用于计算所述节点集合V和所述模态融合关系图E的任意两个相邻节点的注意力权重系数；对所述注意力权重系数进行归一化获得权重系数；抑郁特征单元：用于基于所述权重系数，对所述节点集合V和所述模态融合关系图E的节点进行加权求和，获得所述多模态抑郁特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人成都信息工程大学，其通讯地址为：610225 四川省成都市西南航空港经济开发区学府路1段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。