买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京航空航天大学申请的专利多模态大模型融合多光谱图像的风电机舱火灾预警方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119478367B 。

龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411597337.5，技术领域涉及：G06V10/25；该发明授权多模态大模型融合多光谱图像的风电机舱火灾预警方法是由刘洋;朱珉;张潮海;邓军;谢志成;周海滨设计研发完成，并于2024-11-11向国家知识产权局提交的专利申请。

本多模态大模型融合多光谱图像的风电机舱火灾预警方法在说明书摘要公布了：本申请公开了一种多模态大模型融合多光谱图像的风电机舱火灾预警方法，涉及火灾预警领域，该方法利用可见光图像和红外图像进行图像融合得到风电机舱在不同工作状态下的样本融合图像，样本融合图像融合了不同光谱模态下的图像特征进行优势互补，能够更好的表征风电机舱在当前工作状态下的图像特征，然后对样本融合图像进行图像标注和文字描述构建火灾常识图文数据集，并对预训练的VILA多模态大模型进行参数调整，使得搭建得到的风电机舱火灾预警模型能够理解风电机舱火灾预警基本常识，从而可以根据目标对搜索进行动态调整，有利于提高风电机舱在火灾预警状态下的异常目标的识别定位准确性，可以提高火灾预警的准确性。

本发明授权多模态大模型融合多光谱图像的风电机舱火灾预警方法在权利要求书中公布了：1.一种多模态大模型融合多光谱图像的风电机舱火灾预警方法，其特征在于，所述风电机舱火灾预警方法包括： 利用双光谱相机分别获取风电机舱在不同工作状态下的样本图像，风电机舱的工作状态包括正常工作状态和不同火灾预警状态，风电机舱在每种工作状态下的样本图像包括样本可见光图像和样本红外图像； 利用图像融合模块对风电机舱在每种工作状态下的一组样本图像中的样本可见光图像和样本红外图像进行图像融合得到对应的样本融合图像，所述图像融合模块通过高斯核函数对其中的样本可见光图像进行多尺度模糊变换得到可见光基础图像和可见光细节图像，通过高斯核函数对其中的样本红外图像进行多尺度模糊变换得到红外基础图像和红外细节图像；对可见光基础图像和红外基础图像进行加权平均融合得到融合基础图像，对可见光细节图像和红外细节图像进行图像融合得到融合细节图像，对融合基础图像和融合细节图像重构得到风电机舱在当前工作状态下的样本融合图像； 对风电机舱在每种工作状态下的样本融合图像中用于标识火灾预警状态的异常目标进行图像标注，并为所述样本融合图像添加用于描述风电机舱的工作状态的火灾等级描述文本，构建得到火灾常识图文数据集； 利用所述火灾常识图文数据集对VILA多模态大模型训练并调整模型参数，训练得到基座模型，并基于训练得到的基座模型构建风电机舱火灾预警模型； 搭建得到的所述风电机舱火灾预警模型包括图像特征预处理模块、文本特征预处理模块、特征融合模块、训练得到的所述基座模型和目标位置解码器； 待监测融合图像输入图像特征预处理模块，用于指示识别需求的字符串输入文本特征预处理模块；图像特征预处理模块的输出和文本特征预处理模块的输出分别连接特征融合模块；特征融合模块的输出连接基座模型；基座模型的输出经由线性层连接目标位置解码器；图像特征预处理模块的输出还连接至目标位置解码器；其中： 图像特征预处理模块包括依次级联的视觉编码器、线性层和重采样层，视觉编码器采用DINOv2开放世界目标检测模型中使用的视觉编码器ViT-L14和加入注意力机制的卷积神经网络ConvNeXt分别捕获空间上下文信息和图像局部信息； 文本特征预处理模块包括依次级联的分词编码模块和向量化表示模块，分词编码模块采用自然语言处理应用中的语言标记器，向量化表示模块使用word2vec技术； 特征融合模块用于对图像特征预处理模块提取到的图像特征以及文本特征预处理模块提取到的文本特征进行特征拼接得到多模态融合特征； 基座模型基于多模态融合特征输出结合图像上下文语义和世界知识的定位特征标识符；所述定位特征标识符经由一个线性层通过投影矩阵形成目标位置特征向量输入目标位置解码器； 目标位置解码器采用基于Transformer架构的目标检测模型DETR的检测头模型架构的解码器结构，目标位置解码器基于输入的目标位置特征向量和图像特征输出异常目标定位框，异常目标定位框用于指示所述待监测融合图像中异常目标的位置、类型、尺寸以及置信度，异常目标的类型为过热目标、油液泄露目标或烟雾目标； 利用双光谱相机采集待监测风电机舱在运行过程中同一时刻的可见光图像和红外图像并利用图像融合模块进行图像融合得到待监测融合图像，将所述待监测融合图像和用于指示识别需求的字符串输入所述风电机舱火灾预警模型，得到对所述待监测风电机舱中异常目标的识别定位结果； 基于对所述待监测风电机舱中异常目标的识别定位结果得到对所述待监测风电机舱的火灾预警结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京航空航天大学，其通讯地址为：214000 江苏省无锡市梁溪区古华山路惠麓东苑8号815；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。