买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于外部知识约束的开放式视频问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115827836B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211460058.5，技术领域涉及：G06F16/3329；该发明授权一种基于外部知识约束的开放式视频问答方法是由俞俊;金尧;朱素果设计研发完成，并于2022-11-17向国家知识产权局提交的专利申请。

本一种基于外部知识约束的开放式视频问答方法在说明书摘要公布了：本发明公开了一种基于外部知识约束的开放式视频问答方法，其主要涉及一个可以有效生成域外答案的开放式视频问答框架，以及通过自适应外部知识模块和多流信息交互机制来引入外部常识知识为域外答案的生成提供丰富的语义支持。本发明包括以下步骤：1、对视频和以自然语言描述的问题，答案文本进行数据预处理，2、自适应外部知识模块和多流信息交互机制，进行外部常识知识的引入和特征交互，3、利用解码器结构进行答案生成，4、模型训练，利用反向传播算法训练模型参数。本发明能够有效生成域外答案的开放式视频问答框架，以及利用外部常识知识进行特征融合和答案生成，并且获得了目前在开放式视频问答领域中的最好效果。

本发明授权一种基于外部知识约束的开放式视频问答方法在权利要求书中公布了：1.一种基于外部知识约束的开放式视频问答方法，其特征在于，包括如下步骤： 步骤1、数据预处理，对视频和问题数据进行特征提取； 步骤2、用自适应外部知识模块引入外部知识特征，通过多流信息交互机制捕获视频问题特征和外部知识特征之间的关键信息； 步骤3、答案生成：使用变压器Transformer作为答案生成模块，并使用预训练的模型GPT2进行参数初始化，从而允许模型有选择地关注与预测答案最相关的输入特征部分； 步骤4、模型训练：将步骤3中的预测答案和数据集中提供的标准答案一起输入到预定义的损失函数中，得到相应的LOSS； 步骤2所述的用自适应外部知识模块引入外部知识特征，具体实现如下： 2-1.为了表示视频的外部知识，提出将拟合视频帧fi中的视觉知识，到外部常识知识库中查询对应的外部知识kE；再基于外部知识kE通过迭代记忆网络来构造知识特征FK，其中，i＝1,...,L； 2-2.使用带有ResNet-101的FasterR-CNN从每一个拟合视频帧fi中提取视频实体对象，并将实体对象的文本描述表示为oi；使用CLIP模型对文本描述oi进行去噪处理，通过计算拟合视频帧fi和文本描述oi之间的相似度，过滤掉无关的对象；去噪处理过程表述为: 其中，输出的实体对象标签记作视觉知识kV，CLIP·代表CLIP模型，α是一个预定义的参数； 2-3.为了获取外部知识，从常识知识库ConceptNet中检索出一组三元组＜o,r,s＞，其中o和s都是对象的文本标签，r表示的是对象之间的关系，通过将视觉知识kV中的文本描述oi的每个对象的文本标签与所有三元组中的o、s进行比较，选出o或s与文本描述oi相似的所有三元组，然后将这些相似三元组中的o和s分别重组为集合和集合同时也通过CLIP去噪： 其中，集合和集合均表示外部知识所描述的对象，ke是去噪后的外部知识，β＝0.19是阈值； 2-4.将ke嵌入WordPiece中，得到相应的向量化表示: 为了充分利用相邻帧之间的外部知识kE，采用基于注意的GRU算法来计算上下文感知知识表示；为此使用一组情景记忆单元{m1，m2，...，mT}来记录外部知识kE在每个时刻t的注意力；具体计算如下: m0＝tanhWpkE+bp,公式5 zt＝[kE·m0,kE·mt-1,|kE-m0|,|kE-mt-1|],公式6 其中，zt捕获外部知识与记忆的相似度，gt定义了模型每次对知识进行的注意力操作，|·|为绝对值，·表示元素之间的点积，et为t时刻时GRU的状态向量，e0＝0；通过适当地设置参数和GRU状态的数量，gt和et具有和kE相同的尺寸大小，通过公式8逐个计算et元素，其中krE和是对应于GRU中的元素；随后使用公式9更新相应的信息，其中是GRU的最终状态；迭代完成后，外部知识特征FK可表示为： FK＝ReLUWf[m1,...,mt]+bf公式10 其中，mt表示最终的记忆信息；bf、bg1、bg2、bp都表示要学习的超参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。