买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州空天信息研究院申请的专利一种文本-视频跨模态事件要素抽取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119649264B 。

龙图腾网通过国家知识产权局官网在2025-12-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411576519.4，技术领域涉及：G06V20/40；该发明授权一种文本-视频跨模态事件要素抽取方法是由顾爽;任岩;印涌强;陶昊然;胡惊涛;杨婷;吕子川;常浩设计研发完成，并于2024-11-06向国家知识产权局提交的专利申请。

本一种文本-视频跨模态事件要素抽取方法在说明书摘要公布了：本发明公开了一种文本‑视频跨模态事件要素抽取方法，搜集视频数据及其视频简介文本数据，分别标注文本及视频数据的事件类型及对应的事件论元角色，其中事件论元角色表示在事件中扮演不同角色的实体，文本数据与视频数据预标注事件类型及事件类型对应的事件论元角色一致；进行多模态事件指代消解，实现任意“文本‑视频”数据间的共指事件配对，即将指代同一事件的文本和视频进行匹配，构成一组文本‑视频共指事件对；对匹配的“文本‑视频”数据转换为对应的特征向量，其中对文本数据执行文本标记化和文本嵌入，转化为词向量形式；对视频数据直接使用ResNet算法获取全局级别事件要素特征，构建视频全局特征向量；对视频数据通过Fast‑R‑CNN识别局部对象，使用ResNet算法获取局部级别时间要素，构建视频局部特征向量；对文本词向量和视频全局特征向量与局部特征向量，通过全连接层统一三者的向量维度，构建文本‑视频共享向量空间；将文本词向量和视频全局特征向量与局部特征向量输入到Transformer编码器，再采用ONEIE算法进行文本模态的事件要素信息抽取，采用T5‑base算法进行视频模态的事件要素信息抽取。本发明能够更加精确的捕捉多模态内部之间的关联性，提高了抽取精度。

本发明授权一种文本-视频跨模态事件要素抽取方法在权利要求书中公布了：1.一种文本-视频跨模态事件要素抽取方法，其特征在于，包括如下步骤： 步骤1：搜集视频数据及其视频简介文本数据，分别标注文本及视频数据的事件类型及对应的事件论元角色，其中事件论元角色表示在事件中扮演不同角色的实体，文本数据与视频数据预标注事件类型及事件类型对应的事件论元角色一致； 步骤2：进行多模态事件指代消解，实现任意“文本-视频”数据间的共指事件配对，即将指代同一事件的文本和视频进行匹配，构成一组文本-视频共指事件对； 步骤3：对匹配的“文本-视频”数据转换为对应的特征向量，其中对文本数据执行文本标记化和文本嵌入，转化为词向量形式；对视频数据直接使用ResNet算法获取全局级别事件要素特征，构建视频全局特征向量；对视频数据通过Fast-R-CNN识别局部对象，使用ResNet算法获取局部级别时间要素，构建视频局部特征向量； 步骤4：对文本词向量和视频全局特征向量与局部特征向量，通过全连接层统一三者的向量维度，构建文本-视频共享向量空间； 步骤5：将文本词向量和视频全局特征向量与局部特征向量输入到Transformer编码器，再采用ONEIE算法进行文本模态的事件要素信息抽取，采用T5-base算法进行视频模态的事件要素信息抽取； 步骤6：基于上述步骤3-5的训练过程，得到文本-视频跨模态事件抽取模型； 步骤2，进行多模态事件指代消解，实现任意“文本-视频”数据间的共指事件配对，即将指代同一事件的文本和视频进行匹配，构成一组文本-视频共指事件对，具体方法为： 构建标准噪声对比损失NCE： 其中，yi代表能够与句子xi匹配的一个视频片段；f和g是将句子和视频片段投影到一个公共向量空间中去的全连接层网络，实现将句子和视频片段转换为纬度一致的特征向量；n表示所有用于判断的文本-视频对的数量；表示“文本-视频”不匹配的负样本集；e为自然底数；x′,y′表示属于负样本集无法匹配的“文本-视频”对； 构建基于对象的多实例学习损失 其中，x代表句子；z代表视频某一帧中出现的某个对象；f和h为将句子和对象投影到公共向量空间中的全连接层网络，实现将句子和局部对象转换为纬度一致的特征向量；表示与视频片段相关的能够匹配的“文本-对象”正样本集； 构建最终的多模态事件指代消解损失函数mmcoref： 基于构建的多模态事件指代消解损失函数mmcoref，训练损失函数中的全连接层网络f、g、h，提供任意的文本和视频数据，就能判断两者是否属于同一事件。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州空天信息研究院，其通讯地址为：215000 江苏省苏州市苏州工业园区独墅湖大道158；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。