首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于全局与局部信息的自监督细粒度特征学习方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:中国海洋大学

摘要:本发明属于图像处理技术领域,公开了基于全局与局部信息的自监督细粒度特征学习方法及系统,所述方法包括以下步骤:步骤1、生成全局视图;步骤2、生成全局视图样本对;步骤3、分割全局视图并提取全局特征;步骤4、收集全局信息;步骤5、利用全局信息生成注意力图;步骤6、标记局部关键区域并获得局部特征;步骤7、损失计算:总损失包含全局对比损失、注意力蒸馏损失和局部判别损失;本发明在图像全局对比学习的过程中进一步强调局部重要区域并在这些局部区域内发现适用于细粒度视觉识别任务的细微差异,通过全局和局部信息的学习,提高提取局部精细特征的能力。

主权项:1.基于全局与局部信息的自监督细粒度特征学习方法,其特征在于,包括以下步骤:步骤1、生成全局视图:输入一个批次的图像,对于同一批次的每个原始图像Ie,经过两种随机增强方式生成两个不同但等大的全局视图和,每个全局视图表示为xe;步骤2、生成全局视图样本对:将源于同一个图像但经过不同增强方式生成的不同的两个全局视图视为正样本对,将源于不同图像且经过不同增强方式生成的两个全局视图视为负样本对;步骤3、分割全局视图并提取全局特征:将步骤1得到的每个全局视图xe分割为n个等大但不重叠的图像块Ve,所有图像块展平成序列后经过线性映射到一个D维的空间中,使用基于Transformer的编码器和由编码器的参数动量更新生成的动量编码器分别对全局视图和进行编码,得到全局特征、、和;步骤4、收集全局信息:分别采用不同的方法收集全局视图和的全局信息和,每个全局视图xe的全局信息表示为Ge;步骤5、利用全局信息生成注意力图:针对全局信息和全局信息分别采用不同的方法生成注意力图和,每个全局视图xe的注意力图表示为;步骤6、标记局部关键区域并获得局部特征:根据全局信息Ge,倒序排序每个全局视图中所有图像块的注意力权重;通过位置掩模采样方法采样注意力权重高的图像块,即局部关键区域,记录局部关键区域的位置;生成掩模矩阵,将掩模矩阵与全局特征进行逐元素相乘,获得仅保留局部关键区域信息的局部特征。

全文数据:

权利要求:

百度查询: 中国海洋大学 基于全局与局部信息的自监督细粒度特征学习方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。