买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京航空航天大学杭州创新研究院;北京航空航天大学申请的专利基于小样本提示微调的多模态检测模型训练方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119539013B 。

龙图腾网通过国家知识产权局官网在2025-04-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510080721.6，技术领域涉及：G06N3/084；该发明授权基于小样本提示微调的多模态检测模型训练方法和装置是由刘庆杰;胡征慧;刘欣悦;李世伟;傅泽华;王政;王蕴红设计研发完成，并于2025-01-20向国家知识产权局提交的专利申请。

本基于小样本提示微调的多模态检测模型训练方法和装置在说明书摘要公布了：本公开的实施例涉及目标检测领域，具体涉及基于小样本提示微调的多模态检测模型训练方法和装置。该方法的一实施方式包括：获取训练样本集和初始多模态检测模型；执行训练步骤：得到文本语义嵌入向量序列，对第一层文本提示向量序列与文本语义嵌入向量序列进行拼接处理，得到初始文本嵌入向量序列；得到图像块嵌入向量序列组，对第一层图像提示向量序列与图像块嵌入向量序列进行拼接处理，得到初始图像嵌入向量序列组；得到图像文本相似度矩阵组；对各个图像文本相似度矩阵进行融合处理，得到图像文本对齐分数矩阵；生成分类标注图像；确定多模态检测损失值；确定多模态检测模型。该实施方式可以降低多模态检测模型的复杂度，减少计算资源的占用。

本发明授权基于小样本提示微调的多模态检测模型训练方法和装置在权利要求书中公布了：1.一种基于小样本提示微调的多模态检测模型训练方法，包括：获取训练样本集和初始多模态检测模型，其中，训练样本集中的训练样本包括样本文本、样本图像和样本分类标注图像，初始多模态检测模型是由文本嵌入模块、图像嵌入模块、投影层和语言图像预训练模型构成的；从训练样本集中选出训练样本，以及基于初始多模态检测模型，执行以下训练步骤：根据初始多模态检测模型包括的文本嵌入模块和预设的第一层文本提示向量序列，对所选出的训练样本包括的样本文本进行文本嵌入处理，得到初始文本嵌入向量序列；根据初始多模态检测模型包括的图像嵌入模块和第一层图像提示向量序列，对所选出的训练样本包括的样本图像进行图像嵌入处理，得到初始图像嵌入向量序列组，其中，所述第一层图像提示向量序列是通过初始多模态检测模型包括的投影层，对所述第一层文本提示向量序列进行维度变换得到的；将所述初始文本嵌入向量序列和所述初始图像嵌入向量序列组输入初始多模态检测模型包括的语言图像预训练模型，得到图像文本相似度矩阵组，其中，所述语言图像预训练模型在初始多模态检测模型训练过程中冻结参数；基于所述图像文本相似度矩阵组和所选出的训练样本对应的样本分类标注图像，确定多模态检测损失值；响应于确定所述多模态检测损失值小于预设损失阈值，将训练完成的初始多模态检测模型确定为多模态检测模型；其中，所述语言图像预训练模型包括语言编码器和视觉编码器，所述视觉编码器包括图像编码层序列，所述语言图像预训练模型还包括分类器，所述视觉编码器还包括锚点生成器；以及所述将所述初始文本嵌入向量序列和所述初始图像嵌入向量序列组输入初始多模态检测模型包括的语言图像预训练模型，得到图像文本相似度矩阵组，包括：通过所述语言图像预训练模型中的语言编码器，对所述初始文本嵌入向量序列进行特征提取处理，得到文本特征向量序列；对于所述初始图像嵌入向量序列组中的每个初始图像嵌入向量序列，执行以下步骤：通过所述语言图像预训练模型中的视觉编码器包括的图像编码层序列，对所述初始图像嵌入向量序列中的各个初始图像嵌入向量进行编码处理，得到图像块特征向量序列；通过所述视觉编码器包括的锚点生成器，对所述图像块特征向量序列中的各个图像块特征向量进行感兴趣区域池化处理，得到图像区域特征向量序列；通过所述语言图像预训练模型中的分类器，确定所述文本特征向量序列和所述图像区域特征向量序列之间的图像文本相似度矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学杭州创新研究院;北京航空航天大学，其通讯地址为：310050 浙江省杭州市滨江区长河街道炬航弄99号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。