买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种上下文语境感知的多模态图文分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117033961B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311058311.9，技术领域涉及：G06F18/21；该发明授权一种上下文语境感知的多模态图文分类方法是由李莹;朱明炜;赵天成;尹建伟设计研发完成，并于2023-08-22向国家知识产权局提交的专利申请。

本一种上下文语境感知的多模态图文分类方法在说明书摘要公布了：本发明公开了一种上下文语境感知的多模态图文分类方法。先构建多对交错的图像文本对，将传统微调的范式转化到上下文感知的范式，并达到零样本、少样本无需梯度更新的分类模式。应对跨域迁移的场景下，传统方法需要更多的计算成本，而上下文语境感知学习的模式，能够对原有需要二次梯度更新学习的范式做优化，同时尽可能避免模型预训练权重的灾难遗忘现象，通过少数样本来做元梯度学习，使模型具备跨域知识迁移的能力，在开放词表分类任务的设定下达到比基线模型更优的分类准确度。

本发明授权一种上下文语境感知的多模态图文分类方法在权利要求书中公布了：1.一种上下文语境感知的多模态图文分类方法，其特征在于，包括以下步骤： 将图像文本对形式的分类数据集进行小样本处理，构建每条数据是多对图文形式的小样本数据集，每个图文对以图像和文本标签的形式呈现，每个图文对属于不同的类别； 引入查询数据，查询数据类型为预分类的新图像，将所述查询数据和所述小样本数据集共同组合为上下文数据集，其中，所述小样本数据集中的小样本数据和查询数据的类别不同； 使用多模态模型的图像文本编码器对所述上下文数据集中图像和文本标签分别进行特征抽取，得到图像和文本特征向量； 将所述图像和文本特征向量进行过滤优化，使得图像和文本特征向量在语义上高度近似，得到输入特征； 将所述输入特征输入至因果语言模型，得到预测特征； 将所述输入特征中的图像特征相应的文本特征与对应的所述预测特征的文本特征进行交叉熵损失计算，并将计算得到的损失值用于所述因果语言模型的训练，得到能对上下文语境感知的多模态图文分类模型；构建多模态图文分类模型具体包括以下步骤： 输入特征中图像特征对应的预测特征中的文本特征作为模型反向传播更新的目标，因果语言建模下，当前图像特征的预测只依赖于前文中出现过的输入特征中的文本特征，损失建模都只针对预测特征中的文本特征和输入特征中的文本特征进行，当前位置的预测特征中文本特征只依赖于前文中出现过的输入特征中的文本特征，以此得到损失子项，对查询图像的损失计算则是基于全局的输入特征中的文本特征和查询图像的预测特征中的文本特征做余弦相似计算后完成归一化并统计查询损失，最终的全局损失为每个损失子项和查询损失的总和，最后通过损失梯度更新完成因果语言模型的训练，得到能对上下文语境感知的多模态图文分类模型； 使用所述多模态图文分类模型对多模态图像文本对进行分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。