买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明提供基于提示文本的面向全方位监督语义分割方法，能有效利用各种低成本图像标签以减少训练数据集的人工标注成本，达到降低语义分割方法训练成本的目的，提高语义分割模型的性能和泛化性，并通过结合视觉语言多模态模型，输入提示文本来指导模型筛选图像中的语义分割目标，通过提示文本定位出图像中目标所在位置。该语义分割方法基于教师‑学生模型框架进行改进并利用人工标注的图像全方位标签监督训练模型，包括：步骤1、计算全方位监督时教师‑学生模型框架的损失函数；步骤2、通过指数移动平均算法更新教师模型的权重。

主权项：1.一种基于提示文本的面向全方位监督语义分割方法，基于半监督计算机视觉方向的教师-学生模型框架，包括教师模型、学生模型，并利用人工标注的图像全方位标签监督训练模型，其特征在于包括以下步骤：步骤1、计算全方位监督时教师-学生模型框架的损失函数 其中表示计算学生模型输出的语义分割结果与语义分割标签之间的全监督部分的损失函数，表示计算学生模型与教师模型输出的语义分割结果之间的全方位监督部分的损失函数，表示调节全方位监督损失函数权重的超参数； 的计算公式为 的计算公式为 其中表示学生模型的权重，表示具有语义分割标签的输入图像，表示由字符串组成的输入文本，表示输入图像的语义分割标签，表示学生模型输出的语义分割结果，表示教师模型输出的语义分割结果经过筛选和过滤后形成的伪标签，的计算公式为 其中表示人工标注的图像全方位标签，表示教师模型输出的语义分割结果，表示主动伪标签筛选的方法；人工标注的图像全方位标签是由点、草涂和框组成的弱标签数据集；通过主动伪标签筛选的方法筛选点的伪标签的过程定义如下 其中表示通过点标签筛选出来的伪标签，表示点标签的坐标信息，表示筛选前的语义分割区域，表示选择点标签与语义分割区域的交集部分作为伪标签筛选的结果；通过主动伪标签筛选的方法筛选草涂的伪标签的过程定义如下 其中表示通过草涂标签筛选出来的伪标签，表示草涂标签所占的像素，表示筛选前的语义分割区域，表示选择草涂标签与语义分割区域的并集部分作为伪标签筛选的结果；通过主动伪标签筛选的方法筛选框的伪标签的过程定义如下 其中表示通过框标签筛选出来的伪标签，表示框标签信息，的值为0时表示在框外、为1时表示在框内，表示筛选前的语义分割区域，和分别表示框的长和宽，表示预设的阈值，表示当框内的语义分割区域与框所占像素之比大于阈值时将该语义分隔区域作为伪标签筛选的结果；步骤2、通过指数移动平均算法更新教师模型的权重 其中表示第次迭代时教师模型的权重，表示第次迭代时教师模型的权重，表示第次迭代时学生模型的权重，表示更新系数；所述步骤1中，的计算公式由以下公式组成 其中表示解码器模型；表示经过多模态融合后的特征矩阵，并作为解码器模型的输入；表示多模态融合模型；和分别表示图像特征矩阵、文本特征矩阵经过线性投影的结果，并作为多模态融合模型的输入；表示线性投影层，用于使和的通道数保持一致；表示视觉编码器模型输出的图像特征矩阵；表示文本编码器模型输出的文本特征矩阵；表示视觉编码器模型；表示文本编码器模型。

全文数据：

权利要求：

百度查询： 厦门大学 基于提示文本的面向全方位监督语义分割方法