买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江省肿瘤医院

摘要：本发明公开了基于属性原型引导和迭代场景图生成的医学报告生成方法。首先，选取构建数据集，并通过目标检测器得到多个待定的解剖区域。随后，应用哈达玛乘积对任意两个区域特征进行融合，采用余弦相似性选择匹配的原型作为最相似和最具代表性的属性，并选择大于预定义的相似性阈值的三元组作为用于场景图生成的辅助信息。场景图生成模块引入迭代生成场景图作为辅助任务，并输出最终的场景图特征。最后，将被选中的区域特征连同场景图特征输入到报告解码器中预测最终的医学报告。本发明可以有效地提高图像内语义关系的推理能力，充分挖掘了区域之间潜在的属性共性以进一步提高模型的可解释性，且适用于胸部X射线影像报告生成领域。

主权项：1.一种基于属性原型引导的迭代场景图用于医学影像的自动报告生成方法，其特征在于，具体步骤如下：步骤1、选取包含正面胸部X射线影像及其对应的医学报告的样本数据，将其拆分成训练、验证和测试数据集；步骤2、采用预训练的Fast-RCNN网络作为目标检测器，针对正面胸部X射线影像进行目标检测得到多个待定的解剖区域步骤3、设计属性原型引导学习APL模块，以充分建模区域之间潜在的属性共性；APL模块具体操作为：使用原型内匹配来建立区域对和属性原型之间更紧密的连接，以及原型间正则化来最小化属性原型之间的语义重叠；步骤4、为了有效地帮助匹配区域对和原型之间的共性，从余弦相似性和欧氏距离的角度设计损失函数；步骤5、在步骤4的基础上，由于余弦相似性仅度量向量之间的空间角度相似性，继续引入欧几里得距离来约束其空间距离；步骤6、为了减少原型在视觉空间中的表示之间的语义重叠，提出并使用一种原型间正则化方法；步骤7、为了增强整个报告生成框架的推理能力和可解释性，引入迭代场景图生成ISSG模块作为辅助任务，ISSG采用自回归方案进行结构化的边推理，并采用上下文机制进行关系推理；具体由三个阶段组成：1节点预测，2待选边预测，3关系预测；首先，预测实体节点是否与其标签一起出现在图中，然后迭代地对节点之间的连接边进行采样，并输出由每个节点的邻接列表组成的最终邻接矩阵；最后，基于邻接列表和节点特征预测有向边的关系标签，并输出最终的场景图特征G；步骤8、对步骤1中产生的区域特征进行筛选，选择其中的一部分区域F连同场景图特征G输入到报告生成解码器中；报告生成解码器通过在解码过程中结合多模态信息来增强报告生成过程，将预测的报告token与真实报告进行比较，将最小化交叉熵损失作为报告生成的目标函数进行训练优化，最终得到预测的医学报告；步骤9、通过总体训练目标进行整体端到端训练。

全文数据：

权利要求：

百度查询： 浙江省肿瘤医院 基于属性原型引导和迭代场景图生成的医学报告生成方法