买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽大学;安徽中医药大学第一附属医院(安徽省中医院);安徽医科大学

摘要：本发明公开一种基于中文大语言模型的医学影像质量控制方法，先使用基于自监督学习的掩码自编码器对视觉编码器进行预训练，使用包含标签的医学影像对模型进行微调，将医学影像输入到预训练的视觉编码器中，得到视觉特征，将影像描述作为文本提示输入基于中文大语言模型的文本编码器中，得到文本特征，将两个特征投射为相同尺寸再进行拼接，得到最终特征，将最终特征输入到使用高效微调方法LoRA的中文大语言模型中，得到质量控制报告，进行实体提取，再对实体进行编码，计算其与真实标签编码之间的距离，采用对比学习进行微调。本发明能够用于对2D和3D医学影像进行质量控制。

主权项：1.一种基于中文大语言模型的医学影像质量控制方法，其特征在于，包括以下步骤：步骤1、输入医学影像X，医学影像X为二维图像或三维图像，其中C、H、W分别表示医学影像X的维度、高度和宽度；步骤2、基于自监督学习的掩码自编码器MAE对视觉编码器进行预训练；步骤2.1、将输入的医学影像X切分为N个规则且不重叠的块，将50％的块进行掩码操作，然后只把未被掩码的块送入视觉编码器中；步骤2.2、对医学影像X切分得到的块分别使用2D3D卷积，得到相同尺寸的特征，即：对3D卷积深度进行平均池化，再在高度和宽度上执行与2D相同的下采样比率，增加位置编码再输入到共享编码模块，输出影像编码；步骤2.3、使用影像编码与被掩码的块输入视觉解码器，输出重构影像，使用重构影像和原始影像之间的均方误差MSE作为损失；步骤3、输入带标签的医学影像与其相对应的文本描述，使用预训练后的视觉编码器对医学影像进行编码但不进行掩码操作，同时使用文本编码器对其相对应的文本描述进行编码，将得到的视觉编码和文本编码投影为相同尺寸，再进行拼接；步骤4、使用高效微调方法LoRA对中文大语言模型进行微调，并得到质量控制报告，具体方法为：在中文大语言模型上对权重矩阵并行增加额外的低秩矩阵，并在中文大语言模型训练过程中，仅训练额外增加的并行低秩矩阵的参数，冻结其他参数；给定预训练权重梯度更新权重将ΔW低秩分解为r即为很小的秩，d和k均是预训练权重矩阵的维度；在训练过程中固定W0，A、B为可训练的参数，将F视为输入，前向传递表示为：F′＝W0F+BAF其中，F′表示下一层输入，A进行随机高斯初始化，B进行零初始化；步骤5、基于统一医学语言系统UMLS使用中文大语言模型对质量控制报告进行实体提取，并分别对提取到的实体与影像的真实标签进行编码，计算二者之间的距离，通过优化对比损失迭代训练。

全文数据：

权利要求：

百度查询： 安徽大学 安徽中医药大学第一附属医院(安徽省中医院) 安徽医科大学 基于中文大语言模型的医学影像质量控制方法