龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：国家计算机网络与信息安全管理中心;中国科学院自动化研究所
摘要：本发明提供一种图文互生模型的训练方法，该方法包括：基于模态自感单元从样本模态数据中提取自感信息；模态自感单元基于自注意力网络通过多任务有监督训练得到；基于图文编码器对自感信息进行编码，得到隐空间特征，并对隐空间特征进行多模态扩散处理，得到扩散后的目标模态类型的隐空间特征；基于图文解码器对自感信息和扩散后的目标模态类型的隐空间特征进行解码，得到解码信息；根据解码信息和多任务损失函数对图文编码器和图文解码器进行训练，得到图文互生模型；目标损失包括重建损失、图像类的理解辅助任务对应损失和文本类的理解辅助任务对应损失确定。本发明所述方法提高了图文互生对应模型的性能和可适配性。
主权项：1.一种图文互生模型的训练方法，其特征在于，包括：基于模态自感单元从样本模态数据中提取自感信息，所述自感信息包括模态类型和对应的模态特征；所述模态自感单元基于自注意力网络通过多任务有监督训练得到，所述样本模态数据包括样本图像和样本文本中的一项；基于图文编码器对所述自感信息进行编码，得到隐空间特征，并对所述隐空间特征进行多模态扩散处理，得到扩散后的目标模态类型的隐空间特征；基于图文解码器对所述自感信息和所述扩散后的目标模态类型的隐空间特征进行解码，得到解码信息；其中，所述图文编码器和所述图文解码器基于条件变分自动编码器cVAE架构得到，所述目标模态类型属于所述样本图像和所述样本文本中的一项；根据所述解码信息和多任务损失函数对所述图文编码器和所述图文解码器进行训练，得到图文互生模型；其中，目标损失包括重建损失、图像类的理解辅助任务对应损失和文本类的理解辅助任务对应损失确定。
全文数据：
权利要求：
百度查询： 国家计算机网络与信息安全管理中心 中国科学院自动化研究所 图文互生模型的训练方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号