买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)

摘要：本发明涉及图像分割技术领域，公开了一种基于分割一切大模型的图像实例分割方法，包括：基于超像素的提示生成、基于提示的实例分割；第一步包含基于超像素的图神经网络的构建和基于图神经网络的提示聚合。在基于超像素的图神经网络的构建阶段，首先生成超像素，然后将每个超像素视为一个节点，并在所有相邻超像素之间添加边。在基于图神经网络的提示聚合阶段，为每个超像素生成提示，并利用图神经网络预测超像素之间的关系，根据边分类结果聚合超像素的提示来生成最终提示。将聚合后的最终提示输入到提示编码器中，同时将图像输入到图像编码器中；最后通过掩膜解码器得到最终的分割结果。本发明可以有效解决边界不准确的问题。

主权项：1.一种基于分割一切大模型的图像实例分割方法，其特征在于，所采用的实例分割模型能够对输入的图像中的实例进行分割，得到实例分割结果；具体包括以下步骤：步骤一，基于超像素的图神经网络的构建：对图像进行超像素分割，得到多个超像素；基于超像素构建无向图G：将超像素作为无向图G的节点，并在相邻的两个超像素对应的节点之间建立边；通过分割一切大模型的图像编码器提取图像中的SAM嵌入向量，通过U-Net双路分割模型提取图像中的实例上下文嵌入向量和实例感知嵌入向量；将SAM嵌入向量、上下文嵌入向量和实例感知嵌入向量进行拼接，将拼接后的嵌入向量作为节点特征；计算两个相邻超像素重叠边界上的像素平均亲和度得到亲和图边特征，计算相邻超像素的灰度直方图之间的余弦相似度得到余弦相似度边特征，将两个相邻超像素分割掩膜之间的交并比作为基于SAM的边特征；将亲和图边特征、余弦相似度边特征和基于SAM的边特征进行串联合并，将合并后的特征作为边特征；基于无向图、节点特征和边特征构建初始图神经网络；步骤二，基于图神经网络的提示聚合：图神经网络通过对节点特征进行更新来聚合相邻节点的节点特征，捕捉无向图的结构信息；通过相邻节点之间的特征相似度对边特征进行更新；通过缩短来自相同实例的超像素对应节点特征在特征空间中的距离、增加来自不同实例的超像素对应节点特征在特征空间中的距离，并设置距离阈值，来判断一个边连接的两个节点对应的超像素是否来自同一实例，实现对边的分类；为每个超像素生成一个初始提示，然后基于边的分类结果将属于同一实例的所有超像素进行合并，并将属于同一个实例的所有超像素的初始提示进行合并，得到最终提示；步骤三，将最终提示输入到分割一切大模型的提示编码器，得到提示图像嵌入；将图像输入到分割一切大模型的图像编码器，得到图像嵌入；将提示图像嵌入和图像嵌入输入到分割一切大模型的掩膜解码器，得到包含图像中各实例的二值分割掩膜的实例分割结果。

全文数据：

权利要求：

百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于分割一切大模型的图像实例分割方法