买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明提供了一种基于散度聚类的单示例自进化目标检测分割方法，基于大量无标注样本构建具有代表性的标注候选池，为基于强化学习训练模型自进化地搜索上下文示例，最终送入通用视觉器完成指定的视觉任务，依据置信分数筛选候选池中最高的一批图像及标注作为上下文示例，最终实现不同场景下的图像检测分割。本发明大大降低了对标注数据的依赖，为解决真实世界广泛存在的长尾分布问题铺平了道路，同时，在不同的通用视觉器下，自适应动态地为测试图像挑选合适的示例，向不同应用场景下的图像检测分割任务提供了新的解决方案。

主权项：1.一种基于散度聚类的单示例自进化目标检测分割方法，其特征在于包含如下步骤：步骤1：将大于100000张的无标注图像集经过CLIP图像编码器后，提取得到d维的图像特征，并记为其中，fi表示第i个无标注图像的d维特征，N为无标注数据的规模；Rd为d维的实线性空间；步骤2：候选池D构造；步骤3：图像的预处理过程；将训练图像Iq送入参数冻结的CLIP图像编码器，提取到的图像特征为fq，fq∈Rd，另外，从中提取大小为2M个图片的候选池D的所有样本的图像特征表示第m个无标注图像的d维特征；步骤4：为了从候选池D中筛选适合训练图像Iq的上下文示例，引入可自进化的搜索智能体，搜索智能体包括特征去噪模块和全局搜索模块，均由一组轻量化的多层感知器MLP构成；其中，特征去噪模块包括图像去噪模块和候选池去噪模块，图像去噪模块中，基于多层感知器MLP中的可学习权重为和迭代修正训练图像Iq不同区域的特征响应，图像去噪模块的输入为fq，经过可学习权重的非线性变换，fq不同位置的数值将发生改变，再经过批规范化和RELU函数激活后得到去噪训练特征训练图像Iq在感知器第j层的去噪过程如下： 其中，候选池图像去噪模块采用如公式1所示的范式设计；训练图像特征和候选池中所有样本特征经特征去噪模块后，分别得到去噪训练特征和去噪候选池特征RELU为激活函数，batchNorm为批规范化；步骤5：将复制并生成总共2M份后得到沿特征维度拼接和得到联合特征将联合特征fall送入全局搜索模块，得到评估分数为使得归一化的概率分布具有统计意义，在每个评估分数中引入gumbel噪声；步骤6：基于上下文示例的训练图像Iq检测分割；将候选池D中所有样本的原图像及分割掩码标注取出，逐个作为训练图像Iq的上下文示例；对于第m个样本，将和Iq共同送入通用视觉器S，得到预测的检测分割结果比较和真实标注的重叠区域，得到评估检测分割效果的交并比IOU分数为了引导智能体自适应地为测试图像挑选上下文示例，基于强化学习机制设计搜索智能体的自进化策略；对于一组评估检测分割效果的IOU分数将平均IOU分数uavg作为基线，高于基线的相应示例得到奖励，用以增强选取类似样本的概率，低于基线的相应示例则被抑制；步骤7：基于步骤1-6的散度聚类的单示例自进行训练后，在推理阶段，搜索智能体中，得到softmax置信分数，将softmax置信分数按降序排列，在候选池D中筛选出排序在前k位的图像及分割掩码标注作为上下文示例集，最后，筛选出的上下文示例集和测试图像共同送入通用视觉器S中，得到测试图像的检测分割结果

全文数据：

权利要求：

百度查询： 西北工业大学 基于散度聚类的单示例自进化目标检测分割方法