买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安交通大学申请的专利基于多模态大模型的小样本旋转设备损伤辨识方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119649138B 。

龙图腾网通过国家知识产权局官网在2026-03-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411801882.1，技术领域涉及：G06V10/764；该发明授权基于多模态大模型的小样本旋转设备损伤辨识方法及系统是由王硕;夏林豫;邵涛;武通海设计研发完成，并于2024-12-09向国家知识产权局提交的专利申请。

本基于多模态大模型的小样本旋转设备损伤辨识方法及系统在说明书摘要公布了：本发明公开了一种基于多模态大模型的小样本旋转设备损伤辨识方法及系统，提取损伤图像特征向量及损伤描述文本特征向量，并以相似度函数量化表征损伤图像特征与文本特征之间的距离，联合图像编码器与损伤热独编码构建小样本旋转设备损伤知识提取模块，提取含损伤类别的小样本图像‑标签知识；构建大模型图像‑语义先验知识与损伤特征缓存器中小样本知识的融合辨识模块，实现小样本条件下的旋转设备损伤类型高精度辨识。本发明有效解决旋转设备损伤图像与大型预训练自然图像数据集之间的域偏差问题，通过引入小样本旋转设备损伤知识，同时利用大模型的先验知识，提高小样本下旋转设备损伤图像的辨识精度。

本发明授权基于多模态大模型的小样本旋转设备损伤辨识方法及系统在权利要求书中公布了：1.一种基于多模态大模型的小样本旋转设备损伤辨识方法，其特征在于，包括以下步骤： S1、基于预训练的图像-语义大模型提取损伤图像特征向量及损伤描述文本特征向量，并以相似度函数量化表征损伤图像特征与文本特征之间的距离，实现损伤类型的先验知识表征，得到大模型图像-语义先验知识，具体为： S101、将视觉编码器与文本编码器分别设置为预训练的ViT-B16架构与预训练的文本Transformer架构；使用大量自然图像和文本的配对数据，对图像-语义大模型进行训练； S102、采用预训练后的图像-语义大模型分别提取损伤图像特征向量及损伤文本特征向量；构建待识别损伤类型的文本数据库，使用文本编码器将损伤文本转换成C维的文本特征向量库，使用图像编码器将待测试损伤图像转换成C维的图像特征向量，实现损伤图像与文本特征的提取； S103、采用相似度量化损伤图像特征与文本特征之间的距离；将图像与文本特征进行两两组合，计算组合对的相似度，得到图像-文本相似度矩阵，矩阵对角线上的元素属于正样本，代表正确配对的图像和文本，其余元素为负样本； 最大化正样本的相似度，并最小化负样本的相似度； S104、计算特征向量与文本特征之间的相似度，生成图文特征匹配结果向量，作为大模型图像-语义先验知识，其中，表示为文本编码器所提取的所有损伤描述文本特征矩阵； S2、联合图像编码器与损伤热独编码提取含损伤类别的小样本图像-语义知识；将由图像编码器转换成的特征向量矩阵联合热独编码得到的标签矩阵共同构建含有损伤类别的小样本图像-语义知识的特征缓存库，提取含损伤类别的小样本图像-语义知识具体为： S201、构建含N类带有标签的小样本图像训练集； S202、构建包含双层感知机的小样本损伤知识提取模块，利用预训练后的图像编码器将小样本图像训练集转换成特征向量矩阵，作为双层线性网络结构的初始权重； S203、对小样本图像训练集进行独热编码得到标签矩阵，以小样本损伤图像数据作为双层线性网络结构输入，交叉熵作为损失函数，结合步骤S1图像编码器与文本编码器提取的预训练知识共同训练双层线性网络结构； S204、将步骤S203训练后双层线性网络结构的权重经过L2正则化，将得到的作为小样本损伤图像的最终特征知识，联合标签矩阵构建含有损伤类别的小样本图像-语义知识的特征缓存库； S3、将步骤S1得到的大模型图像-语义先验知识和步骤S2得到的含有损伤类别的小样本图像-语义知识的特征缓存库进行融合，实现小样本条件下的旋转设备损伤类型高精度辨识，具体为： S301、将待测损伤图像通过图像编码器，得到L2范数归一化后的图像先验知识特征；将图像先验知识特征作为查询向量，匹配缓存器中的小样本损伤特征矩阵，计算得到隶属度； S302、将步骤S301得到的隶属度与特征缓存器中的标签矩阵进行线性组合，得到损伤类型的辨识结果； S303、将步骤S2得到的小样本特征缓存器与步骤S1得到的大模型先验知识的损伤类型辨识结果进行加权组合，得到最终待识别的旋转设备损伤图像类型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安交通大学，其通讯地址为：710049 陕西省西安市碑林区咸宁西路28号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。