买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本发明属于图像处理技术领域，提供了一种基于视觉语言模型的半监督医学图像分割方法及系统，包括以下步骤：获取医学图像；将无标签图像和文本描述输入视觉语言模型中，得到密集图像嵌入和文本嵌入，根据密集图像嵌入和文本嵌入，得到文本引导的掩码；将有标签图像输入学生模型中，得到有标签图像预测，利用有标签图像预测计算有监督损失；将无标签图像分别输入学生模型和教师模型，得到无标签图像预测和伪标签，将文本引导的掩码与伪标签合并，利用合并的伪标签与无标签图像预测计算半监督损失；根据文有监督损失和半监督损失训练学生模型，利用训练好的学生模型进行医学图像分割。本公开能够利用文本描述的优势精确定位目标分割区域。

主权项：1.基于视觉语言模型的半监督医学图像分割方法，其特征在于，包括以下步骤：获取待分割医学图像；将无标签图像和文本描述输入视觉语言模型中，得到密集图像嵌入和文本嵌入，根据密集图像嵌入和文本嵌入，得到文本引导的掩码；所述视觉语言模型为预训练的视觉语言模型，对视觉语言模型进行预训练，具体为：对获取的原始图像进行增强，得到增强的图像；将原始图像和增强的图像分别输入视觉编码器和动量视觉编码器中，得到原始图像嵌入和增强的图像嵌入；将原始图像和增强的图像的文本描述分别输入文本编码器和动量文本编码器，得到文本嵌入和动量文本嵌入；构建不确定性语义约束策略，计算分布距离作为不确定性水平，约束语义差异，具体为：对于一对数据，它们之间的语义差异为，其中为2范数，为的语义嵌入；语义嵌入分布表示和，其中为均值向量，为标准差向量；利用Wasserstein-2距离测量分布之间的差异，作为不确定性水平；Wasserstein-2距离为： 全局语义特征[CLS]被用以建模分布表示，数据对之间的不确定性水平定义如下： 其中，是正的参数，用于控制不确定性程度，是偏差值；当比较两个数据时，语义差异和不确定性水平被同时考虑；将与的比例定义为相对不确定性，约束语义差异；和语义不确定性约束函数定义为： 其中，为语义不确定性约束函数，为正的超参数；公式中当两个数据之间的相对不确定性较大时，会减小，从而约束两个数据之间的语义差异；联合执行三重对比学习，并在每个对比学习过程中嵌入不确定性语义约束策略，计算每个对比学习损失；利用每个对比学习损失对视觉语言模型的参数权重进行优化，得到预训练的视觉语言模型；以教师-学生模型为半监督分割骨干网络，将有标签图像输入学生模型中，得到有标签图像预测，利用有标签图像预测与真实标签计算有监督损失；将无标签图像分别输入学生模型和教师模型，得到无标签图像预测和伪标签，将文本引导的掩码与伪标签合并，得到合并的伪标签，利用合并的伪标签与无标签图像预测计算半监督损失；根据有监督损失和半监督损失训练学生模型，利用训练好的学生模型进行医学图像分割。

全文数据：

权利要求：

百度查询： 山东大学 基于视觉语言模型的半监督医学图像分割方法及系统