买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)申请的专利基于视觉对比对齐的可信多模态大模型构建方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120046742B 。

龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510529737.0，技术领域涉及：G06N5/04；该发明授权基于视觉对比对齐的可信多模态大模型构建方法及装置是由李晶;陈阳能;张民设计研发完成，并于2025-04-25向国家知识产权局提交的专利申请。

本基于视觉对比对齐的可信多模态大模型构建方法及装置在说明书摘要公布了：本发明提供一种基于视觉对比对齐的可信多模态大模型构建方法及装置，涉及自然语言处理技术领域。该方法包括：获取文本数据和图片数据；将文本数据和图片数据输入指令微调后的多模态大模型中，获得图片数据对应的偏好响应logit和拒绝响应logit以及无图片对应的偏好响应logit和拒绝响应logit；构建基于视觉对比对齐的可信多模态大模型的框架包括：文本偏好优化模块、差额稳定优化模块、响应级视觉对比对齐模块和标记级视觉对比对齐模块；分别构建每个模块对应的损失函数；根据每个模块对应的损失函数，构建框架的整体损失函数；根据整体损失函数对模型进行训练，获得训练好的多模态大模型。采用本发明可提升多模态大模型的可信度。

本发明授权基于视觉对比对齐的可信多模态大模型构建方法及装置在权利要求书中公布了：1.一种基于视觉对比对齐的可信多模态大模型构建方法，其特征在于，所述方法包括： S1、获取偏好优化的数据集；其中，偏好优化的数据集包括：文本数据和图片数据；将图片数据输入指令微调后的多模态大模型中，获得有图片的偏好响应logit和有图片的拒绝响应logit；将文本数据输入指令微调后的多模态大模型中，获得无图片的偏好响应logit和无图片的拒绝响应logit； S2、构建基于视觉对比对齐的可信多模态大模型的框架；所述框架包括：文本偏好优化模块、差额稳定优化模块、响应级视觉对比对齐模块和标记级视觉对比对齐模块； S3、将有图片的偏好响应logit和有图片的拒绝响应logit，输入文本偏好优化模块中，通过给定的待优化模型和参考模型，生成偏好响应奖励和拒绝响应奖励；根据偏好响应奖励和拒绝响应奖励，构建文本偏好优化损失函数； S4、将有图片的偏好响应logit输入差额稳定优化模块中，通过设置差额参数，构建差额稳定优化损失函数；将无图片的偏好响应logit和无图片的拒绝响应logit输入响应级视觉对比对齐模块中，构建响应级视觉优化损失函数； S5、将有图片的偏好响应logit、有图片的拒绝响应logit、无图片的偏好响应logit和无图片的拒绝响应logit输入标记级视觉对比对齐模块中，通过不同令牌的视觉对比输出的logit差异，构建标记级视觉对比对齐优化损失函数；根据文本偏好优化损失函数、差额稳定优化损失函数、响应级视觉对比对齐优化损失函数和标记级视觉对比对齐优化损失函数，构建所述框架的整体损失函数；根据整体损失函数对指令微调后的多模态大模型进行训练，获得基于视觉对比对齐的可信多模态大模型； 其中，所述不同令牌的视觉对比输出的logit差异，通过下述公式（1）表示： （1） 其中，表示给定文本查询x、图像输入和指定响应y时，当前优化中的模型生成的第t个令牌的视觉对比logit差异； 其中，所述基于视觉对比对齐的可信多模态大模型的框架的整体损失函数通过下述公式（2）表示： （2） 其中，表示整体损失函数；表示文本偏好优化损失函数的值；表示差额稳定优化损失函数的值；表示响应级视觉对比对齐优化损失函数的值；表示标记级视觉对比对齐优化损失函数的值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)，其通讯地址为：518000 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。