买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海大学

摘要：本发明涉及多模态数据的表示学习技术领域，具体涉及一种基于事件本体的多模态事件表示学习方法。具体技术方案为：一种基于事件本体的多模态事件表示学习方法，包括：相关领域事件本体的构建并形成事件本体模型；初始多模态事件信息数据的预处理，根据事件本体中定义的语言表现，将不同的事件归并到不同的事件类中；采用本体模型和多模态预训练模型对多模态事件数据进行嵌入表示；采用图卷积神经网络模型学习本体中由事件和事件以及事件和关系所构成的图结构。本发明能够解决单模态事件表达能力不足、事件之间缺乏语义信息的问题，同时能够保证相似或相关事件之间的语义距离越近，无关或不相似事件的语义距离越远。

主权项：1.一种基于事件本体的多模态事件表示学习方法，其特征在于：包括：相关领域事件本体的构建并形成事件本体模型；初始多模态事件信息数据的预处理，根据事件本体中定义的语言表现，将不同的事件归并到不同的事件类中；采用本体模型和多模态预训练模型对多模态事件数据进行嵌入表示；采用图卷积神经网络模型学习本体中由事件和事件以及事件和关系所构成的图结构；所述相关领域事件本体的构建并形成事件本体模型，具体包括：1相关领域文本语料库的构建；2通过学习语料库，从待表示的多模态事件信息中的领域文本内容中抽取所表述的事件以及事件各要素；3事件类分类以及非分类关系的抽取；4根据归纳得到的事件类、事件类要素、事件类关系抽象得到其形式化的语言描述；5采用词向量预训练模型对得到的语言描述进行嵌入表示，并对全部语言表现的词嵌入进行加权求和以形成事件本体模型；所述采用本体模型和多模态预训练模型对多模态事件数据进行嵌入表示，具体包括：采集大量事件文本-图片的数据对；根据模型的框架对这些文本-图像对进行学习得到其语义空间；将待表示的文本-图像数据作为模型的输入并得到其嵌入表示；将其所属的事件类对应的嵌入表示与模型的输出进行拼接融合；所述根据模型的框架对这些文本-图像对进行学习得到其语义空间，具体包括：根据未掩盖区域来预测掩盖区域的预训练任务，使用最小化KL距离方法衡量预测的分布和真实分布的关系；事件图片和事件文本之间是否匹配的二分类预训练任务，使用点乘计算cosine距离，并学习一个线性层判断二者最终是否匹配。

全文数据：

权利要求：

百度查询： 上海大学 一种基于事件本体的多模态事件表示学习方法