龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国科学技术大学
摘要：本发明公开了一种基于细粒度图文语义对齐的鲁棒性增强训练方法与系统，它们是相对应的方案，方案中：针对假阴性和语义丧失两大问题，分别提出去噪对比损失和基于参数合并策略的规则约束管道，前者通过分布分解的策略，以减少假阴性的消极影响，后者设计了更严格的构造规则以消除部分可控的语义丧失样本，基于上述两种针对性策略的帮助下，缓解了低质量负样本的消极影响，避免了捷径学习，从而获得了更加鲁棒的对齐效果。同时，针对低密度描述问题，本发明提出了致密化蒸馏策略，更为直接地引导模型生成高密度的表征。本发明赋予了文本编码器更强的理解能力，同时也进一步增强了图文表征的全局性，因此，提升视觉语言模型的组合理解能力。
主权项：1.一种基于细粒度图文语义对齐的鲁棒性增强训练方法，其特征在于，包括：获取视觉语言模型与训练样本，并针对训练样本中的文本样本构造对应的负样本；将训练样本中的文本样本以及对应的负样本，分别输入至视觉语言模型中的文本编码器，获得对应的文本特征；将训练样本中的图像样本分别输入至视觉语言模型中的视觉编码器，获得对应的视觉特征；将训练样本中的文本样本以及提示词输入至大语言模型，获得对应的文本令牌；利用文本编码器获得的文本样本的文本特征与对应的文本令牌计算蒸馏损失；利用文本编码器获得的文本样本的文本特征以及视觉编码器获得的视觉特征，计算图文对比损失；利用文本编码器获得的文本样本与负样本的文本特征以及视觉编码器获得的视觉特征，计算去噪的跨模态损失；利用文本编码器获得的文本样本与负样本的文本特征，计算去噪的文本模态损失；基于计算出的所有损失训练损失对视觉语言模型进行训练，获得第一组模型参数；并且，构造基于参数合并策略的规则约束管道，利用设定的约束条件生成负样本，采用相应的方式计算出的所有损失训练损失并对视觉语言模型进行训练，获得第二组模型参数，再基于参数合并策略获得最终的模型参数。
全文数据：
权利要求：
百度查询： 中国科学技术大学 基于细粒度图文语义对齐的鲁棒性增强训练方法与系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号