买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利基于多模态大语言模型的对话生成方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119938874B 。

龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510436346.4，技术领域涉及：G06F16/3329；该发明授权基于多模态大语言模型的对话生成方法及装置是由孙晓帅;马祎炜;纪荣嵘;林玮煌;纪家沂设计研发完成，并于2025-04-09向国家知识产权局提交的专利申请。

本基于多模态大语言模型的对话生成方法及装置在说明书摘要公布了：本发明公开了一种基于多模态大语言模型的对话生成方法及装置，涉及对话生成领域，包括：获取查询语句和图像并输入到经微调的多模态大语言模型，图像输入到预训练的图像编码器中，得到多尺度编码特征和选定图像特征，多尺度编码特征经过多层聚合模块，提取得到低级图像特征和高级图像特征；将查询语句输入到文本编码器中，得到文本特征；将以上特征输入到模内及模间增强模块中进行增强，得到增强的图像特征并沿通道连接后经过多层感知机模块进行投影，得到视觉符元；将查询语句输入到预训练的分词器中进行分词，得到文本符元；将视觉符元和文本符元输入到经训练的大语言模型，生成回答语句。本发明解决现有的MLLM未考虑模内和模间相关性问题。

本发明授权基于多模态大语言模型的对话生成方法及装置在权利要求书中公布了：1.一种基于多模态大语言模型的对话生成方法，其特征在于，包括以下步骤： 构建基于图像特征增强的多模态大语言模型并微调，得到经微调的多模态大语言模型，所述多模态大语言模型包括预训练的图像编码器、预训练的文本编码器、预训练的分词器、多层聚合模块、模内及模间增强模块、多层感知机模块和预训练的大语言模型； 获取查询语句及其对应的图像并输入到所述经微调的多模态大语言模型，所述图像输入到所述预训练的图像编码器中，得到多尺度编码特征和选定图像特征，所述多尺度编码特征经过所述多层聚合模块，提取得到低级图像特征和高级图像特征；将所述查询语句输入到所述文本编码器中，得到文本特征；将所述文本特征、低级图像特征、高级图像特征和选定图像特征输入到所述模内及模间增强模块中进行增强，得到增强的低级图像特征、增强的高级图像特征和增强的选定图像特征，在所述模内及模间增强模块中，结合所述文本特征分别对所述低级图像特征、高级图像特征和选定图像特征进行模内增强和模间增强，如下式所示： 其中，分别表示第一相关权重矩阵、第二相关权重矩阵、第三相关权重矩阵、第四相关权重矩阵、第五相关权重矩阵、第六相关权重矩阵，Sigmoid表示Sigmoid函数，T表示转置矩阵； 采用下式取平均值，得到增强的低级图像特征、增强的高级图像特征和增强的选定图像特征： 其中，Fb表示所述低级图像特征、高级图像特征或选定图像特征；若Fb为所述低级图像特征，则表示对所述低级图像特征取平均得到的全局平均低级图像特征，表示模内增强后的低级图像特征，表示模间增强后的低级图像特征，F′b表示增强的低级图像特征；若Fb为所述高级图像特征，则表示对所述高级图像特征取平均得到的全局平均高级图像特征，表示模内增强后的高级图像特征，表示模间增强后的高级图像特征，F′b表示增强的高级图像特征；若Fb为所述选定图像特征，则表示对所述选定图像特征取平均得到的全局平均选定图像特征，表示模内增强后的低级图像特征、模内增强后的高级图像特征或模内增强后的选定图像特征，表示模间增强后的低级图像特征、模间增强后的高级图像特征或模间增强后的选定图像特征，F′b表示增强的选定图像特征；所述增强的低级图像特征、增强的高级图像特征和增强的选定图像特征沿通道连接后经过所述多层感知机模块进行投影，得到视觉符元；将所述查询语句输入到所述预训练的分词器中进行分词，得到文本符元；将所述视觉符元和文本符元输入到所述经训练的大语言模型，生成回答语句。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361000 福建省厦门市思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。