买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京建筑大学申请的专利一种双模态图文融合目标识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119131803B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411274696.7，技术领域涉及：G06V30/146；该发明授权一种双模态图文融合目标识别方法及系统是由魏东;任芷怡;冉义兵;周柳营;刘晨曦;符思越;马川设计研发完成，并于2024-09-12向国家知识产权局提交的专利申请。

本一种双模态图文融合目标识别方法及系统在说明书摘要公布了：本发明提出一种双模态图文融合目标识别方法及系统，双模态图文融合目标识别系统包括图像识别模块、文字识别模块和多模态语义聚合模块，多模态语义聚合模块分别连接图像识别模块和文字识别模块，图像识别模块采用图像识别模型进行目标检测，文字识别模块用于判断所识别的文字内容是否包含目标短语，多模态语义聚合模块根据图像识别和文字识别的识别置信度输出检测结果。本发明中，采用基于改进的YOLOv5算法进行图像识别，采用文字定位+文字识别框架进行文字内容识别，采用语义距离相似度与编辑距离相似度计算文本置信度，借助文本置信度进行多模态信息融合，在保证识别精度的前提下提升识别速度。

本发明授权一种双模态图文融合目标识别方法及系统在权利要求书中公布了：1.一种双模态图文融合目标识别系统，其特征在于,所述双模态图文融合目标识别系统包括图像识别模块、文字识别模块和多模态语义聚合模块，所述多模态语义聚合模块分别连接所述图像识别模块和所述文字识别模块； 所述图像识别模块采用图像识别模型进行目标检测； 所述文字识别模块用于判断所识别的文字内容是否包含目标短语； 所述多模态语义聚合模块根据图像识别和文字识别的识别置信度输出检测结果； 所述图像识别模型基于YOLOv5进行改进，包括输入端Input、特征提取网络Backbone、特征融合网络Neck和预测端Head，所述特征融合网络Neck中包括160×160像素的小目标检测层，所述小目标检测层的C3模块中包括卷积块注 意力模块； 所述文字识别模块的具体工作过程为： S21、将待检测图像输入文本检测模型DB，确定文字区域； S22、将文字区域输入文字识别网络CRNN，对文字内容进行识别； S23、利用中文分词引擎对所识别的文本进行拆分，将其划分为短词语，将短词语与目标短语进行对比，以判断所识别的文字内容是否包含目标短语； 所述S23中，若划分后的短词语存在于Word2Vec语料库中，将其映射为空间向量，并与目标短语采用余弦相似度进行语义距离相似度计算，余弦相似度的值越接近于1，表示两个词在语义上越相似，若划分后的短词语不存在于Word2Vec 语料库中，将其与目标短语进行编辑距离相似度计算； 所述多模态语义聚合模块的具体工作过程为： S31、若图像和文字中一种模态的识别置信度高于预设高阈值，而另一种模态的置信度低于预设低阈值，直接输出置信度更高的单一模态识别结果，如果没有出现这种情况，进入S32； S32、对图像识别和文字识别的识别置信度进行加权求和，计算得到多模态置信度； S33、如果多模态置信度达到预设精度，输出目标位置信息，并将其标识为包含图文目标，如果多模态置信度未达到预设精度，将报告未检测到目标； 所述预测端Head采用解耦检测头； 所述图像识别模型的识别流程如下： S11、将特征提取网络Backbone中的80×80尺度特征层与特征融合网络Neck中的上采样特征层的特征经过C3模块处理，获得包含有关小目标特征信息的深层语义特征层； S12、将深层语义特征层与特征提取网络Backbone中浅层位置特征层进行特征拼接融合，以完善160×160尺度融合特征层； S13、160×160尺度融合特征层经过C3模块处理送入预测端Head； S14、基于K-means聚类算法重新生成12个预设锚框尺度，其中包括大、中、小和极小目标各3个尺度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京建筑大学，其通讯地址为：100044 北京市西城区展览馆路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。