龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：合肥工业大学
摘要：本发明公开了一种基于单词‑图片配对和交叉Transformer的多模态命名实体识别方法，包括：1、获取多模态的先置数据集；2、获取另一个包含文本模态的英文数据集以及视觉模态的图像数据集的多模态的目标数据集，并构建视觉‑窗格拓展前缀匹配树ExtendTrie；3、获取文本‑图片对的编码特征表示；4、构建基于Transformer的图像‑文本交叉融合模型CLT，得到最终的交叉融合特征F'；5、训练图像‑文本交叉融合模型CLT。本发明在处理多模态命名实体识别任务时，能够综合利用视觉‑窗格信息，提高文本‑图片对匹配度，并利用文本与视觉信息，以得到有效的数据特征表示，从而能提高命名实体识别任务的精度。
主权项：1.一种基于单词-图片配对和交叉Transformer的多模态命名实体识别方法，其特征在于，是按如下步骤进行：步骤1、获取多模态的先置数据集，且所述先置数据集中包含有文本模态的英文数据集以及视觉模态的图像数据集；其中，所述英文数据集中的单词与图像数据集中图片存在对应关系；步骤2、获取另一个包含文本模态的英文数据集以及视觉模态的图像数据集的多模态的目标数据集，并作为先置数据集的补充数据集，用于构建视觉-窗格拓展前缀匹配树ExtendTrie；令目标数据集的NER标签序列为A；步骤3、对目标数据集中的任意一个文本-图片对进行处理，获取文本-图片对的编码特征表示Sh,v；步骤4、构建基于Transformer的图像-文本交叉融合模型CLT，并对文本-图片对的编码特征表示集合Sh,v进行处理，得到最终的交叉融合特征F'；步骤5、训练图像-文本交叉融合模型CLT：步骤5.1、利用式18构建损失函数 式18中，PrA'|F'表示在给定交叉融合特征F'下，输出标签序列为A'的条件概率；步骤5.2、利用Adam优化器对所述图像-文本交叉融合模型CLT进行训练，并计算以更新网络参数，直至迭代次数达到最大迭代次数时或达到最小时，停止训练，从而得到训练后的最优命名实体识别网络模型，用于结合输入的图片对输入的英文句子进行命名实体识别。
全文数据：
权利要求：
百度查询： 合肥工业大学 基于单词-图片配对和交叉Transformer的多模态命名实体识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号