首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种开放式词汇的交通道路零样本语义分割方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:西北工业大学

摘要:本发明公开了一种开放式词汇的交通道路零样本语义分割方法,首先使用一个冻结的CLIP骨干网络生成类别无关的掩码,然后将低分辨率图像和预测的掩码输入到该骨干网络中进行开放词汇识别。这种方式将掩码生成和识别过程统一在一个框架中,提高了效率并取得了优秀的性能,有效地提高了交通场景下的语义分割的准确性。

主权项:1.一种开放式词汇的交通道路零样本语义分割方法,其特征在于,包括如下步骤:步骤1:准备训练和测试检测系统的数据集;步骤2:将训练集数据输入神经网络中,学习图像与标签对应的关系;所述神经网络包括一个冻结的CLIP骨干网络、一个类别无关的掩码生成器,一个词汇内分类器和一个词汇外分类器;使用预训练的卷积网络ConvNeXt作为CLIP骨干网络的图像编码器;步骤3:利用CLIP骨干网络提取的图像特征,结合物体查询和像素解码器生成类别无关的候选区域掩码;步骤4:利用类别名称的文本编码和预测掩码的像素特征进行对比学习,从而预测每个掩码对应的类别,并对预测类别进行交叉熵损失;模型训练过程中,仅使用词汇内分类器的损失进行反向传播,以更新可训练的参数,包括掩码生成器中的参数和词汇内分类器的参数;步骤5:在推理阶段,使用训练好的模型进行推理,预测图像中的物体类别和掩码;除了使用词汇内分类器外,还利用词汇外分类器进行零样本类别预测,并结合词汇内分类器的结果进行集成,从而获得最终预测结果。

全文数据:

权利要求:

百度查询: 西北工业大学 一种开放式词汇的交通道路零样本语义分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。