龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江工商大学
摘要：本发明公开了一种基于两种级别的可适应参数生成跨语言跨模态检索方法,该方法分为两个阶段,第一个阶段旨在源语言和目标语言之间的对齐实现跨语言的迁移,第二阶段旨在目标语言和图像之间的对齐,实现跨模态的对齐。在第一阶段中,对文本编码器层参数进行了冻结,并在目标语言分支的每一层的文本编码器层的后面添加了共享适配器模块、句子级别适配器模块和token级别适配器模块,然后分别经过这三个模块之后按照权重相加,得到这一层的输出。本发明使用新颖的自适应参数生成适配器结构，利用两种级别文本信息和共享文本信息进行跨语言跨模态检索。
主权项：1.一种基于两种级别的可适应参数生成跨语言跨模态检索方法，其特征在于，该方法包括：跨语言迁移阶段：对源语言和目标语言进行特征编码，得到对应语言文本的嵌入向量；对嵌入向量通过文本编码器得到对应的特征向量，文本分支有两个分支，源语言分支和目标语言分支，两个分支都包含文本编码器，所述文本编码器为若干层；所述源语言分支为预训练的文本编码器层，得到的文本信息作为源语言文本输出或下一层源语言文本信息输入；所述目标语言分支为在预训练的文本编码器每层均分别输出至共享适配器模块、句子级别适配器模块和token级别适配器模块，将三个模块输出的文本信息进行加权得到最终的文本信息，作为目标语言文本输出或下一层的目标语言输入；根据文本编码器输出的目标语言文本特征和源语言文本特征，使用MSE损失来训练模型，实现跨语言迁移；跨模态对齐阶段：将目标语言文本输入到训练好的文本编码器中，得到目标语言分支的文本特征；使用预训练的图像编码器获取图像特征，使用NCE损失计算实现文本特征和图像特征的跨模态对齐的检索模型；将文本输入到训练好的检索模型中，实现跨语言跨模态的检索。
全文数据：
权利要求：
百度查询： 浙江工商大学 基于两种级别的可适应参数生成跨语言跨模态检索方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号