买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:国网安徽省电力有限公司电力科学研究院
摘要:本发明涉及目标检测技术领域,解决了传统开放目标检测无法适用于电力施工场景图片检测的技术问题,尤其涉及一种面向电力施工场景图片的开放词汇目标检测方法,包括基于跨模态对比学习的图文嵌入表示预训练、基于已知概念监督的目标检测框架训练、基于图像级多标签数据集的弱监督检测模型微调、进行前向推理得到检测结果。本发明能够面向电力施工场景图像管理这一垂直领域,支持电力施工场景中任意词汇的输入并输出对应物体的目标矩形包围框坐标,同时无需对所有数据进行精确标注出目标矩形包围框标签信息,从而实现多模态信息的充分交互,提高了开放词汇目标检测模型的语义理解和泛化能力。
主权项:1.一种面向电力施工场景图片的开放词汇目标检测方法,其特征在于,该方法包括以下步骤:S1、获取已知的数据集组成数据库,数据库包括“悟空”数据集、Object365和VisualGenome数据集、GoldG+数据集、OpenImages数据集以及电力施工场景图像级多标签数据集;S2、采用“悟空”数据集进行基于跨模态对比学习的图文嵌入表示预训练,获得用于在目标检测网络模型中提取任意图像特征表示和文本特征表示的图像嵌入表示函数以及文本嵌入表示函数;S3、基于Object365和VisualGenome数据集、GoldG+数据集以及图像嵌入表示函数和文本嵌入表示函数对目标检测网络模型进行训练并优化,得到已知概念监督的目标检测网络模型;S4、采用OpenImages数据集以及电力施工场景图像级多标签数据集基于弱监督检测模型生成用于弱监督开放词汇物体矩形框坐标的伪标签;S5、采用伪标签对目标检测网络模型进行训练,得到面向电力施工场景图像的开放词汇目标检测模型;S6、将输入概念调整为需要检测的开放词汇作为开放词汇目标检测模型的输入,并对预测目标矩形框进行得分筛选即输出开放词汇目标检测结果。
全文数据:
权利要求:
百度查询: 国网安徽省电力有限公司电力科学研究院 面向电力施工场景图片的开放词汇目标检测方法和系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。