买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥工业大学申请的专利基于单词-图片配对和交叉Transformer的多模态命名实体识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118673921B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410815594.5，技术领域涉及：G06F40/295；该发明授权基于单词-图片配对和交叉Transformer的多模态命名实体识别方法是由赵山;郑振涛;马文涛;徐旺;闫帅设计研发完成，并于2024-06-24向国家知识产权局提交的专利申请。

本基于单词-图片配对和交叉Transformer的多模态命名实体识别方法在说明书摘要公布了：本发明公开了一种基于单词‑图片配对和交叉Transformer的多模态命名实体识别方法，包括：1、获取多模态的先置数据集；2、获取另一个包含文本模态的英文数据集以及视觉模态的图像数据集的多模态的目标数据集，并构建视觉‑窗格拓展前缀匹配树ExtendTrie；3、获取文本‑图片对的编码特征表示；4、构建基于Transformer的图像‑文本交叉融合模型CLT，得到最终的交叉融合特征F'；5、训练图像‑文本交叉融合模型CLT。本发明在处理多模态命名实体识别任务时，能够综合利用视觉‑窗格信息，提高文本‑图片对匹配度，并利用文本与视觉信息，以得到有效的数据特征表示，从而能提高命名实体识别任务的精度。

本发明授权基于单词-图片配对和交叉Transformer的多模态命名实体识别方法在权利要求书中公布了：1.一种基于单词-图片配对和交叉Transformer的多模态命名实体识别方法，其特征在于，是按如下步骤进行： 步骤1、获取多模态的先置数据集，且所述先置数据集中包含有文本模态的英文数据集以及视觉模态的图像数据集；其中，所述英文数据集中的单词与图像数据集中图片存在对应关系； 步骤2、获取另一个包含文本模态的英文数据集以及视觉模态的图像数据集的多模态的目标数据集，并作为先置数据集的补充数据集，用于构建视觉-窗格拓展前缀匹配树ExtendTrie；令目标数据集的NER标签序列为A； 步骤3、对目标数据集中的任意一个文本-图片对进行处理，获取文本-图片对的编码特征表示Sh,v； 步骤4、构建基于Transformer的图像-文本交叉融合模型CLT，并对文本-图片对的编码特征表示集合Sh,v进行处理，得到最终的交叉融合特征F'； 步骤5、训练图像-文本交叉融合模型CLT： 步骤5.1、利用式18构建损失函数 式18中，PrA'|F'表示在给定交叉融合特征F'下，输出标签序列为A'的条件概率； 步骤5.2、利用Adam优化器对所述图像-文本交叉融合模型CLT进行训练，并计算以更新网络参数，直至迭代次数达到最大迭代次数时或达到最小时，停止训练，从而得到训练后的最优命名实体识别网络模型，用于结合输入的图片对输入的英文句子进行命名实体识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥工业大学，其通讯地址为：230009 安徽省合肥市包河区屯溪路193号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。