买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江南大学

摘要：本发明公开了乳腺癌早期筛查模型的构建方法及筛查辅助系统，属于医学图像处理和小样本学习领域。本发明设计临床报告驱动的可解释性机制，该机制同时从乳腺超声图像和乳腺超声放射学报告中学习形态学、放射学报告信息，然后将从放射学报告中获得的临床信息作为图像的可解释信息，结合多任务协作策略使得该小样本学习方法可以在少量成对超声图像和乳腺超声放射学报告有效、精准地实现乳腺癌的早期筛查，且通过使用一种跨模态相互学习的方法，可以使用乳腺超声临床放射学报告中的临床信息来解释和强化乳腺超声图像的信息，进而提高方法的可靠性和透明度，使结果更容易被临床医生理解和接受，促进了人工智能在临床实践的应用。

主权项：1.一种乳腺癌早期筛查模型的构建方法，其特征在于，所述方法包括：步骤1：获取乳腺超声图像和乳腺超声放射学报告；步骤2：对所述乳腺超声图像和乳腺超声放射学报告进行预处理；步骤3：基于预处理后的超声图像和放射学报告，构建成对的超声图像和放射学报告数据集，并划分为支持集和查询集；步骤4：构建两个编码器，分别从成对的超声图像和放射学报告中提取形态学特征和可解释性特征，通过语义驱动的可解释性单元来实现所述形态学特征和可解释性特征的跨模态组合，得到融合特征；步骤5：构造多任务协作策略，基于所述融合特征训练神经网络模型，得到训练好的乳腺癌早期筛查模型，所述乳腺癌早期筛查模型基于输入的融合特征，输出乳腺癌分类结果；所述步骤4包括：步骤41：构建乳腺超声图像编码器和乳腺超声放射学报告编码器；步骤42：利用所述乳腺超声图像编码器对乳腺超声图像进行编码，提取形态学特征，其中为输出特征的通道数，和分别为高和宽；步骤43：利用所述乳腺超声放射学报告编码器对乳腺超声放射学报告进行编码，提取语义特征；步骤44：生成新的形态学特征： 其中，为全连接层的权重，，为相应的全连接层的偏置项，、为输出特征的个数；步骤45：生成可解释性特征： 为sigmoid函数，，为全连接层的权重，，为相应的全连接层的偏置项，，为输出特征的个数；步骤46：通过语义驱动的可解释性单元来实现两个特征的跨模态组合，公式如下： 其中，为融合特征，表示所述新的形态学特征和可解释性特征之间的点乘法；所述步骤5包括：步骤51：构建训练集和测试集，所述训练集包括：训练任务和测试任务；步骤52：训练任务中，将临床报告驱动的可解释性模型定义为带有参数的神经网络，随机初始化；对训练任务中的支持集任务执行个梯度更新过程，用来获得，这个过程被称为内环正常训练过程，其中是一批任务的索引，是内环训练的梯度下降次数，在内环正常训练中，支持集计算梯度下降后的自适应参数为： 其中，为任务在运行个梯度更新后的语义驱动的可解释性模型权重，为使用支持集任务在内环正常训练时的损失，为内环正常训练的学习率；步骤53：给出每批任务的总大小为，根据所有查询集任务的总损失的平均来优化的性能，这组优化被命名为外环协助训练过程，的更新结果表示为： 其中，为外环协助训练的学习率，为使用查询集任务在外环协助训练时的损失；步骤54：使用任务损失，临床报告驱动的可解释性模型接受单个输入，生成单个输出，任务损失用输出和目标之间的误差表示，其公式为： 其中，是任务损失，是任务输出，是任务目标。

全文数据：

权利要求：

百度查询： 江南大学 乳腺癌早期筛查模型的构建方法及筛查辅助系统