买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:山东锋士信息技术有限公司
摘要:本发明涉及基于内容感知与令牌共享的高效视觉ViT语义分割方法,属于图像处理和计算机视觉技术领域。建立一个令牌共享策略网络,训练令牌共享策略网络,直至收敛,将图像I输入共享策略网络得到共享策略,将图像块与令牌共享策略输入令牌共享函数,得到一个精简的令牌集合T’;将T’输入Transformer网络,得到一组包含语义信息的预测令牌集合L;将L以及共享策略输入令牌分发函数,令牌分发函数将预测令牌集合L根据共享策略进行分发以及上采样,并进行重组,得到预测空间特征并将其输入解码器,得到最终语义分割预测结果。本发明可以在保障分割质量的同时,显著提高基于视觉Transformer语义分割网络的计算效率。
主权项:1.基于内容感知与令牌共享的高效视觉ViT语义分割方法,其特征是,包括步骤如下:S1.建立一个令牌共享策略网络p,用来预测输入图像中哪些超图块只包含一个语义类别,将包含一个语义类别的分为一组,然后让每组超图块中的图像块共享同一个令牌;S2.训练令牌共享策略网络p,直至共享策略网络p收敛,将图像I输入共享策略网络p,得到共享策略P;S3.将输入图像I划分为N个图像块Ipatch;S4.基于ViT的语义分割架构,将图像块Ipatch与令牌共享策略P输入令牌共享函数ts,得到一个精简的令牌集合T’;S5.将精简的令牌集合T’输入Transformer网络,得到一组包含语义信息的预测令牌集合L;S6.将预测令牌集合L以及共享策略P输入令牌分发函数tu,令牌分发函数tu将预测令牌集合L根据共享策略P进行分发以及上采样,并进行重组,得到预测空间特征Lspat;S7.将预测空间特征Lspat输入解码器,得到最终语义分割预测结果。
全文数据:
权利要求:
百度查询: 山东锋士信息技术有限公司 基于内容感知与令牌共享的高效视觉ViT语义分割方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。