买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于多模态数据进行抑郁症识别的方法和系统，属于抑郁症识别技术领域，获取多个实验用户的语音数据、生理数据以及是否患抑郁症的标签，并分别对所述语音数据和生理数据进行预处理；通过预训练的wav2vec模型和迁移学习模型提取预处理后的语音数据的低维语音特征；将所述低维语音特征与预处理后的生理数据融合成多模态数据，基于所述多模态数据和所述是否患抑郁症的标签制作数据集，并训练基于神经网络的抑郁症识别模型；通过训练后的抑郁症识别模型对待测用户进行抑郁症识别。本发明构建了基于神经网络的抑郁症识别模型，可以结合待测用户的语音数据、生理数据实现抑郁症的识别，提升抑郁症识别的准确率。

主权项：1.一种基于多模态数据进行抑郁症识别的方法，其特征在于，所述方法包括：获取多个实验用户的语音数据、生理数据以及是否患抑郁症的标签，并分别对所述语音数据和生理数据进行预处理；通过预训练的wav2vec模型和迁移学习模型提取预处理后的语音数据的低维语音特征；将所述低维语音特征与预处理后的生理数据融合成多模态数据，基于所述多模态数据和所述是否患抑郁症的标签制作数据集；构建基于神经网络的抑郁症识别模型，通过所述数据集训练所述抑郁症识别模型；提取待测用户的多模态数据，通过训练后的抑郁症识别模型对待测用户进行抑郁症识别；所述通过预训练的wav2vec模型和迁移学习模型提取预处理后的语音数据的低维语音特征具体包括：获取预设数量的语音训练样本；所述语音训练样本的标签为语音样本数据对应的低维语音特征；通过预训练的wav2vec模型提取所述语音训练样本的高维语音特征；以所述高维语音特征为输入、以所述语音训练样本的标签为输出来训练迁移学习模型；通过预训练的wav2vec模型提取所述预处理后的语音数据的高维语音特征；将所述预处理后的语音数据的高维语音特征输入训练后的迁移学习模型，得到对应的低维语音特征；所述迁移学习模型包括特征压缩模块、前向GRU模块、后向GRU模块、特征拼接模块和特征编码模块；所述前向GRU模块和后向GRU模块的输入端分别与所述特征压缩模块的输出端连接，所述前向GRU模块和后向GRU模块的输出端分别与所述特征拼接模块的输入端连接；所述特征拼接模块的输出端和特征编码模块的输入端连接；所述特征压缩模块用于对输入的高维语音特征进行特征提取和压缩，输出压缩语音特征；所述前向GRU模块用于对所述压缩语音特征进行当前时间步和前一时间步的隐藏状态提取，输出前向隐藏特征；所述后向GRU模块用于对所述压缩语音特征进行当前时间步和后一时间步的隐藏状态提取，输出后向隐藏特征；所述特征拼接模块用于将所述前向隐藏特征和所述后向隐藏特征拼接，输出包含语音数据的上下文信息的语音特征；所述特征编码模块用于对所述特征拼接模块的输出编码，输出所述预处理后的语音数据对应的低维语音特征；所述低维语音特征的数据尺寸与所述预处理后的生理数据的尺寸相同。

全文数据：

权利要求：

百度查询： 中南民族大学 一种基于多模态数据进行抑郁症识别的方法和系统