买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州大学

摘要：本发明涉及一种基于多模态数据的电影类型预测方法和系统，方法包括：对每部电影的文本、视频、海报和音频数据分别进行嵌入，得到文本、视频、海报和音频嵌入；将文本嵌入和视频嵌入进行处理，得到文本和视频特征；同时对海报嵌入和音频嵌入分别进行处理，得到海报特征和音频特征；将每部电影的文本和视频特征、海报特征和音频特征进行融合，得到所有电影的多模态数据；基于电影元数据构建不同电影的多模态电影图，并对多模态电影图和所有电影的多模态数据进行学习，得到电影嵌入；根据电影嵌入对不同电影类型进行分类。本发明在电影类型分类任务中考虑多模态数据之间的交互，并加入了电影元数据，有效提高电影类型分类结果。

主权项：1.一种基于多模态数据的电影类型预测方法，其特征在于：包括：步骤S1：获取每部电影的文本、视频、海报和音频数据并对其分别进行嵌入，得到文本嵌入、视频嵌入、海报嵌入和音频嵌入；步骤S2：将所述文本嵌入和视频嵌入进行拼接，并对拼接后的数据进行特征提取与融合，得到文本和视频特征；同时对所述海报嵌入和音频嵌入分别进行特征提取，得到海报特征和音频特征；步骤S3：基于电影元数据构建不同电影的多模态电影图，并使所述文本和视频特征、海报特征和音频特征对所述多模态电影图中的电影元数据进行学习，得到电影嵌入，其中，所述电影元数据包括导演、编剧和演员信息；步骤S4：根据所述电影嵌入对不同电影类型进行分类；所述步骤S2和步骤S3之间还包括：将每部电影的文本和视频特征、海报特征和音频特征进行融合，得到所有电影的多模态数据；所述将每部电影的文本和视频特征、海报特征和音频特征进行融合，得到所有电影的多模态数据，方法包括：将每部电影的文本和视频特征OTV转换为与海报特征OP和音频特征OA相同的维度空间h，得到多模态特征F，表示为：其中，经过维度空间转换的文本和视频特征；将所述多模态特征F沿转换后的维度空间h进行连接以获得fi∈Rm×h，其中，m表示模态数目；通过第一线性矩阵Wq获得查询矩阵Qi＝fiWq，通过第二线性矩阵Wk获得关键矩阵Ki＝fiWk，通过第三线性矩阵Wv获得值矩阵Vi＝fiWv；根据所述查询矩阵Qi和关键矩阵Ki计算模态间注意矩阵Pi，公式为：其中，softmax·表示注意力函数；T表示矩阵转置，Pi∈Rm×m，R表示向量空间，Pi表示在第i部电影中三种模态互相之间的关注度；根据所述模态间注意矩阵Pi构和值矩阵Vi构建注意力聚合，表示为PiVi；将注意力聚合PiVi后的多模态特征F进行向量化，得到Oi，并对多模态特征F添加残差连接，公式为：Oi＝VecPiVi+fi，其中，Vec·表示将特征矩阵按行展开，Oi∈R1×mh；将所有电影的Oi进行聚合，表示为：O＝{O1,O2,...,ON}，其中，O表示所有电影的多模态数据；所述步骤S3的方法包括：基于电影元数据构建不同电影的多模态电影图，并获取所述多模态电影图的邻接矩阵，其中，若电影Di和电影Dj之间的电影元数据中导演、编剧或演员重叠个数超过预设阈值，则多模态电影图中电影Di和电影Dj之间存在边，对应邻接矩阵中电影Di和电影Dj的元素为1；否则多模态电影图中电影Di和电影Dj之间不存在边，对应邻接矩阵中电影Di和电影Dj的元素为0；将所述多模态电影图的邻接矩阵和所有电影的多模态数据输入至两层图神经网络，所述两层图神经网络用于通过多模态电影图的邻接矩阵来更新所有电影的多模态数据，得到电影嵌入。

全文数据：

权利要求：

百度查询： 苏州大学 一种基于多模态数据的电影类型预测方法和系统