买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京工业大学
摘要:本发明公开一种基于物体形状掩膜提示的开放词汇可供性分割方法及装置,能够解决复杂场景中对象相邻部件像素之间的干扰、小尺寸对象分割以及无法推广到开放世界的问题。方法包括:1生成物体形状掩膜提示;2掩膜提示特征增强;3可供性预测。
主权项:1.基于物体形状掩膜提示的开放词汇可供性分割方法,其特征在于:该方法包括以下步骤:1生成物体形状掩膜提示:给定输入图像,首先使用预先训练的对象检测器来检测对象类别;然后,将对象类别和图像输入到图像分割模型中,以获得细化的目标对象形状掩膜;为了获得细粒度的文本提示,将掩码和原始图像输入到Alpha-CLIP中,以输出特定于掩膜区域的字幕描述,获得特定于目标对象区域的字幕;然后使用这些字幕和对象类别,以及开放的可供性词汇作为联合文本提示,并使用文本编码器将它们嵌入到特征空间中;2掩膜提示特征增强:使用掩膜来去除背景,并获得仅包含单个对象的掩膜图像,该图像用于提取对象实例特征;提取对象矩形框的特征,矩形框包含对象、背景信息;3可供性预测:编码的实例特征与全局图像特征拼接,然后与文本提示特征一起输入到基于Transformer的像素解码器中,该解码器输出类别不可知的可供性掩膜提议;将这些提议与文本嵌入相乘,以获得掩膜的可供性类别,通过结合可供性类别和掩膜,得到最终的可供性分割图。
全文数据:
权利要求:
百度查询: 北京工业大学 基于物体形状掩膜提示的开放词汇可供性分割方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。