买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明属于计算机视觉图像处理技术领域,提供了一种多模态提示学习的二阶少样本医学图像分类方法、系统、存储介质及设备,包括获取少样本医学图像数据,引入辅助文本输入,以进一步描述图像或概念类别,促进跨模态学习,结合两种分类头:一种是共享分类头,用于处理视觉编码器中的图像类别标记和文本编码器编码的提示表示;另一种则是通过使用具有高效矩阵幂归一化的全局协方差池化来聚合视觉标记,对来自视觉编码器的视觉标记特征分布进行分类。本发明显著提升了少样本医学图像分类的精度。
主权项:1.一种多模态提示学习的二阶少样本医学图像分类方法,其特征在于,步骤如下:S1,获取少样本医学图像数据用于模型训练;为每张图像引入文本输入,进一步描述图像或概念类别;S2,构建模型:模型使用CLIP作为骨干网络,包含图像编码器和文本编码器;将医学图像和类别描述分别作为视觉输入和文本输入,经过图像编码器和文本编码器的提取特征,图像编码器生成类别标记Xc和视觉标记Xv,文本编码器生成全局句子表示;S3,构建视觉分类器:所述的分类器包括共享分类器和全局协方差池化分类器,共享分类器是基于文本特征和视觉类令牌进行类别预测,全局协方差池化分类器是通过结合一阶和二阶统计量实现特征分布的线性分类;S4,在训练阶段仅更新CoOp的可学习提示和分类器的参数;在推理阶段仅预测新医学图像;S5,输出医学图像分类结果。
全文数据:
权利要求:
百度查询: 大连理工大学 一种多模态提示学习的二阶少样本医学图像分类方法、系统、存储介质及设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。