买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东北林业大学

摘要：基于同构性和异质性动态信息交互的多模态情感分类方法，涉及多模态情感分析技术领域，本申请提出基于同构性和异质性动态信息交互的多模态情感分类方法，特别是针对目前多模态表达空间内的同构性和异质性特征，本申请采用了一个具有分布排列的共享子空间捕捉模态间潜在的共性和特征，并且设计了一个多模态动态信息交互方法动态融合文本和音频模态内同构性和异质性信息，从而保留各模态的特性，并消除各模态间所存在的歧义和噪声，进而提升了情感分类的准确性。

主权项：1.基于同构性和异质性动态信息交互的多模态情感分类方法，其特征在于包括以下步骤：步骤一：获取CMU-MOSI多模态情感数据集，并对CMU-MOSI多模态情感数据集进行预处理，得到文本异质性特征和音频异质性特征，所述预处理具体步骤为：步骤一一：将数据集内的文本序列数据经过BERT模型的编码层和解码层进行特征提取，得到文本异质性特征；步骤一二：将数据集内的音频语义信号采用COVAREP库提取出每一帧内的音频异质性特征；步骤二：采用P2FA将文本异质性特征和音频异质性特征在单词级别的每个时间步内进行模态对齐，对模态对齐后的文本异质性特征和音频异质性特征取平均，得到文本、音频两种模态单词级别对齐的长度相同的特征；步骤三：将文本、音频两种模态单词级别对齐的长度相同的特征映射到一维卷积网络层，输出维度相同的文本异质性特征和音频异质性特征；步骤四：将维度相同的文本异质性特征和音频异性质特征映射到一个多模态共享权重的子空间，并通过分布式排列学习不同模态之间的同构性，得到文本模态同构隐藏特征和音频模态同构隐藏特征；步骤五：将文本异质性特征与文本模态同构隐藏特征进行矩阵相乘，得到文本信息交互矩阵；将音频异质性特征和音频模态同构隐藏特征进行矩阵相乘，得到音频信息交互矩阵；然后分别引入paddingmask矩阵M，得到文本信息交互表示矩阵以及音频交互信息表示矩阵；步骤六：利用软注意力方法分别对文本信息交互表示矩阵以及音频交互信息表示矩阵进行处理，得到文本注意力矩阵以及音频注意力矩阵；步骤七：将文本注意力矩阵以及音频注意力矩阵进行加权求和，得到加权融合信息交互矩阵；步骤八：将加权融合信息交互矩阵与文本异质性特征进行加权计算，得到多模态信息交互矩阵；步骤九：将多模态信息交互矩阵与文本异质性特征进行残差连接和归一化处理，得到多模态融合特征数据；步骤十：将多模态融合特征数据经过全连接层和softmax得到情感分类结果；步骤十一：利用文本异质性特征和音频异质性特征作为输入、情感分类结果作为输出训练多模态情感分类模型，并利用交叉熵损失函数优化模型，得到训练好的多模态情感分类模型；步骤十二：将待识别的文本异质性特征和音频异质性特征输入训练好的多模态情感分类模型，得到情感分类结果；所述多模态情感分类模型的损失函数为： 其中，α表示相似度损失函数的正则化权重，表示相似度损失函数，表示交叉熵损失函数，所述相似度损失函数用于计算文本模态同构隐藏特征和音频模态同构隐藏特征之间的损失；所述相似度损失函数如下： 其中，表示相似度损失函数，αt表示文本模态同构隐藏特征，βa表示音频模态同构隐藏特征，t表示文本特征，a表示音频特征，{T,A}表示特征空间，CMDKαt,βa表示文本模态同构隐藏特征和音频模态同构隐藏特征中心距差函数；所述交叉熵损失函数如下： 其中，N是语料的数量，为期望输出，为实际输出，i表示语料的序号，i＝1...N，yi为情感分类结果。

全文数据：

权利要求：

百度查询： 东北林业大学 基于同构性和异质性动态信息交互的多模态情感分类方法