买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京智源人工智能研究院

摘要：一种基于概念蒸馏和CLIP的可提示分割模型预训练方法，可提示分割模型包括一体化的图像解码器、CLIP视觉编码器和CLIP文本编码器；方法包括：获取用于可提示分割模型预训练的图片‑掩码输入，并获得用于概念蒸馏的模板文本描述；将图片输入经过可提示分割初始模型ProTo的图像解码器进行第一视觉嵌入操作获得第一视觉嵌入；将图片输入经过CLIP视觉编码器进行第二视觉嵌入操作获得第二视觉嵌入；将模板文本描述经过CLIP文本编码器进行第三文本嵌入操作获得第三文本嵌入；基于分割损失Segloss与概念蒸馏损失KLloss的联合优化损失Lloss进行基于概念蒸馏和CLIP的可提示分割模型预训练；其中概念蒸馏损失KLloss与第一视觉嵌入、第二视觉嵌入和第三文本嵌入相关联。

主权项：1.一种基于概念蒸馏和CLIP的提示分割模型预训练方法，其特征在于，所述提示分割模型基于提示分割初始模型ProTo预训练获得，所述提示分割模型包括一体化的图像解码器、CLIP视觉编码器和CLIP文本编码器；所述方法包括：S1，获取用于提示分割模型预训练的图片-掩码输入，并获得用于概念蒸馏的模板文本描述；S2，将所述图片输入经过提示分割初始模型ProTo的图像解码器进行第一视觉嵌入操作获得第一视觉嵌入；S3，将所述图片输入经过CLIP视觉编码器进行第二视觉嵌入操作获得第二视觉嵌入；S4，将所述模板文本描述经过CLIP文本编码器进行第三文本嵌入操作获得第三文本嵌入；S5，基于分割损失Segloss与概念蒸馏损失KLloss的联合优化损失Lloss进行基于概念蒸馏和CLIP的提示分割模型预训练；其中所述概念蒸馏损失KLloss与第一视觉嵌入、第二视觉嵌入和第三文本嵌入相关联；所述输入为经过掩码剪裁出的图片，记为IR，所述输入对应的模板文本描述为TR；所述IR的获取方法包括：从SA-1B数据集中裁剪出掩码对应的图像；将其居中粘贴到224×224的空白图像中，最终获得11亿张剪裁图片；所述TR的获取方法包括：基于多个图像数据集的词汇概念整合生成包含用于全景理解的背景与物体类别的标签列表；基于所述标签列表以及提示模板“aphotoofa{class_name}”构建了一个文本描述列表；所述第一视觉嵌入操作记为ProToImageDecoderIR，获得的第一视觉嵌入记为VP；所述第二视觉嵌入操作记为CLIPVisualEncoderIR，获得的第二视觉嵌入记为VC；所述第三文本嵌入操作记为CLIPTextEncoderTR，获得的第三文本嵌入记为TC；所述概念蒸馏损失KLloss为提示分割初始模型ProTo的预测分布ProTodist与CLIP目标分布CLIPdist之间的KL散度损失，表示为公式2-4：KLloss＝DKLProTodist||CLIPdist2；其中： 其中，τ表示常用的可调制的温度超参数。

全文数据：

权利要求：

百度查询： 北京智源人工智能研究院 基于概念蒸馏和CLIP的可提示分割模型预训练方法及系统