买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：一种基于主题提示的多模态抑郁程度预测系统。属于多模态识别预测技术领域，具体涉及多模态抑郁程度预测技术领域。所述基于主题提示的多模态抑郁程度预测系统，所述系统包括个人信息记忆模块、提示池模块、主题提示查询模块、提示池优化模块、文本视觉及语音提示耦合模块、深度语言提示模块、深度视觉提示模块、深度语音提示模块以及联合训练模块。将个人信息进行拆分，采用Wide部分记忆个人信息与Deep部分多模态联合训练，实现抑郁检测的个性化，通过记忆个人信息进行个性化适配，相较于识别说话者更精确，通过主题提示和多模态结合，相较于语音、文本等单模态有更丰富的诊断信息。

主权项：1.一种基于主题提示的多模态抑郁程度预测系统，其特征在于，所述系统包括个人信息记忆模块、提示池模块、主题提示查询模块、提示池优化模块、文本视觉及语音提示耦合模块、深度文本提示模块、深度视觉提示模块、深度语音提示模块以及联合训练模块；所述个人信息记忆模块：对访谈对象个人信息进行交叉特征转换以及记忆；所述提示池模块：构建以键和值为组合的键值对作为访谈文本的文本主题提示；所述主题提示查询模块：将访谈文本和文本主题提示配对；所述提示池优化模块：对与访谈文本配对后的文本主题提示进行优化，输出最优文本主题提示到文本视觉及语音提示耦合模块以及深度语言提示模块；所述文本视觉及语音提示耦合模块：通过文本视觉耦合函数将最优文本主题提示耦合到视觉模态的维度，得到视觉主题提示；通过文本语音耦合函数将最优文本主题提示耦合到语音模态的维度，得到语音主题提示；所述深度文本提示模块：对访谈文本进行词嵌入操作，得到访谈文本特征，采用k层Transformer层对最优文本主题提示和访谈文本特征进行编码；所述深度视觉提示模块：对访谈视频进行图像块嵌入操作，得到访谈视频特征，采用k层Transformer层对视觉主题提示和访谈视频特征进行编码；所述深度语音提示模块：对访谈音频进行语音嵌入操作，得到访谈音频特征，采用k层Transformer层对语音主题提示和访谈音频特征进行编码；所述联合训练模块：根据个人信息记忆模块、深度文本提示模块、深度视觉提示模块和深度语音提示模块的输入得出预测结果，然后将预测结果反馈到损失函数对个人信息记忆模块、深度文本提示模块、深度视觉提示模块和深度语音提示模块进行联合训练，直到输出的预测结果符合要求。

全文数据：

权利要求：

百度查询： 长春理工大学中山研究院 一种基于主题提示的多模态抑郁程度预测系统