买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南京信息工程大学申请的专利一种基于二级门控编码的图文多模态摘要方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115080728B 。

龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210730560.7，技术领域涉及：G06F16/34；该发明授权一种基于二级门控编码的图文多模态摘要方法是由陆振宇;陈中峰;荣欢设计研发完成，并于2022-06-24向国家知识产权局提交的专利申请。

本一种基于二级门控编码的图文多模态摘要方法在说明书摘要公布了：本发明公开了一种基于二级门控编码的图文多模态摘要方法，在多模态编码阶段通过双重编码器得到多模态隐藏层向量，对图片进行网格划分为单模态文本摘要提供网格级的视觉特征，经过循环神经网络得到文本的隐藏层信息当作一级门控信息；通过门控循环神经网络得到二级隐藏层向量，通过对文本图片信息更细粒化的融合与处理来生成更多样化的摘要；在序列到序列中间处理数据的部分，通过自注意力机制得到文本与图像的正反上下文向量，使用滤波器从正反两个方向对文本与图像进行进一步的降噪处理。本发明能增加图文融合通道数量与补偿效果，同时使用正反注意力机制剔除图文中与摘要不相关的部分，以生成图文更加贴合的多模态摘要。

本发明授权一种基于二级门控编码的图文多模态摘要方法在权利要求书中公布了：1.一种基于二级门控编码的图文多模态摘要方法，其特征在于，包括以下步骤：S10，获取数据集，确保每一条数据包括一篇文本与若干张图片；S20，采用卷积神经网络分别提取所有j张图片的图像特征向量v1到vj，采用长短期记忆循环神经网络编码器对文本进行处理得到文本一级编码的隐藏层hi；同时将网格级划分后的图片，逐层通过隐藏层向量hi，与每个图像网格级特征v1到vj相结合，取最大的图像网格；S30，采用用门控循环神经网络，将源文本每个单词与整个摘要文本和图片特征向量进行建模，得到二级门控隐藏层向量S40，采用门控循环神经网络对文本进行解码，使用正注意力机制得到文本正注意力向量和图片正注意力向量，使用反注意力机制得到文本反注意力向量和图片反注意力向量；S50，通过正相关滤波器处理正向权重以丢弃不相关信息、增强相关信息，通过不相关滤波器处理不相关权重以增强不相关信息、丢弃相关信息；S60，将正向文本上下文降噪向量与正向图片上下文降噪向量相加，得到多模态上下文正向融合向量将反向文本上下文向量与反向图片上下文向量相加，得到多模态上下文反向融合向量S70，将多模态上下文正向融合向量多模态上下文反向融合向量分别与图片视觉特征相结合，通过正向注意力机制获得正相关的指针Pgen，通过反向注意力机制得到不相关指针Pregen来辅助生成关键词汇。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京信息工程大学，其通讯地址为：224002 江苏省盐城市盐南高新区新河街道文港南路105号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。