买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利一种基于视觉前缀的生成式多模态信息抽取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119961856B 。

龙图腾网通过国家知识产权局官网在2026-03-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510027744.0，技术领域涉及：G06F18/25；该发明授权一种基于视觉前缀的生成式多模态信息抽取方法是由李鹏;贾昭阳;王汝传;徐鹤;朱枫设计研发完成，并于2025-01-08向国家知识产权局提交的专利申请。

本一种基于视觉前缀的生成式多模态信息抽取方法在说明书摘要公布了：本发明深度学习自然语言处理技术领域，公开了一种基于视觉前缀的生成式多模态信息抽取方法，具体为：输入文本信息及图像信息，实现文本和图像关系抽取，视觉表示作为可插入的视觉前缀，以指导错误不敏感的预测决策的文本表示，实现层次多尺度视觉特征作为融合的视觉前缀，多模态信息提取器有效地提取特征。本发明将视觉信息与文本信息进行融合，通过多层次的视觉前缀注意力机制将视觉特征与文本特征进行交互更新，结合一个统一的多模态信息提取器，将多模态信息抽取任务统一为使用指令调优的生成问题，能够实现自动回归生成信息提取结果。

本发明授权一种基于视觉前缀的生成式多模态信息抽取方法在权利要求书中公布了：1.一种基于视觉前缀的生成式多模态信息抽取方法，其特征在于：所述生成式多模态信息抽取方法具体包括如下步骤： 步骤1、从深度学习模型的一个可视化主干开始，对于给定数据集的图像，使用深度学习模型进行处理，深度学习模型从输入图像中提取分层的多尺度视觉特征； 步骤2、使用动态门模块预测每一层的多尺度视觉特征的门控概率表示执行第l层时，第i个多尺度视觉特征的程度向量，程度向量的值反映了每个多尺度视觉特征对Transformer中每层的重要性； 步骤3、基于动态门模块，通过将门控概率与每个层的多尺度视觉特征相乘并将它们连接起来，派生出最终聚合的分层视觉特征Vg以匹配Transformer中图像编码器的第l层，得到视觉前缀特征 步骤4、将步骤3得到的视觉前缀特征作为视觉前缀输入，并将视觉前缀特征输入到Transformer的每一层，通过自注意力机制和前馈神经网络对输入的视觉前缀特征进行逐步增强和转换，从而逐层提炼出精细的图像特征表示，得到最终视觉特征hv； 步骤5、给定输入文本的序列W＝{W1,W2,···,Wm}，m是文本序列的长度，通过文本编码器计算最终文本特征he，使用动态门控制策略g′实现跨模态信息融合，获得文本感知的视觉表征M，将最终文本特征he与文本感知的视觉表征M相结合，生成最终的跨模态C，具体包括如下步骤： 步骤5.1、通过文本编码器Transformer计算最终文本特征 he＝Text-Enconder{W1,W2,···,Wm} 其中，dt为文本的维度，Text-Enconder·表示通过一个文本编码器处理文本序列，生成的文本特征he捕捉了文本序列的语义信息； 步骤5.2、使用通过一个LeakyReLU激活函数生成的动态门控制策略g′： 其中，和分别是文本表示和视觉表示通过线性变换得到的键和值向量投影； 步骤5.3、使用动态门控制策略g′实现跨模态信息融合，在跨模态融合过程中，文本特征he被用作查询Q，步骤4得到的最终视觉特征hv则作为键K和值v，通过计算查询Q与键K的相似度，生成注意力权重，并将想生成的注意力权重应用于最终视觉特征hv，从而获得文本感知的视觉表征M： 其中，Q是来自文本的查询，K和V分别是最终视觉特征hv经过线性变换得到的键和值的向量，softmax·用于计算注意力权重，确保加权和为1； 步骤5.4、将最终文本特征he与基于视觉前缀的文本感知的视觉表征M，通过一个加权和来完成结合，生成最终的跨模态表示C： C＝he+g′·M； 步骤6、文本解码器以自回归的方式生成输出结构，对步骤5获得的跨模态C进行编码解码，重复步骤6，在第i步，文本解码器表示以最终的跨模态C和先前状态为条件的状态。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210046 江苏省南京市栖霞区文苑路9号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。