买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明涉及深度学习、自然语言处理、跨模态对齐、图像字幕等技术，并公开了一种基于周期性跨模态对齐的医学影像报告生成方法。该方法构建图像文本对应关系，并采用自适应注意因子，通过多层感知器学习和改进单词与图像区域之间的对应关系。同时使用相似度得分评估每个单词的重要性，确保模型能够更好地选择和加权单词，以提高报告生成的质量。在此基础上，模型引入了循环周期，允许模型多次迭代对齐操作，以进一步提高模型性能。最终，将循环跨模态对齐更新后的文本特征与图像特征拼接，用于生成医学报告。本发明的技术方案弥合了医学影像报告生成领域的视觉与语言之间的鸿沟，为解决这一难题提供了一种创新方法。

主权项：1.一种基于周期性跨模态对齐的医学影像报告生成方法，其特征在于，包括以下步骤：1获取包含真实数据的医学数据集，其中包括多组胸片图像以及与之对应的医学报告，随后，将对数据集进行适当的划分，以满足实际任务的需求，将数据分为训练集、验证集和测试集；2将医学图像和相应的文本报告分别输入视觉特征提取器和文本特征提取器，以获取一组图像特征V以及文本特征T；3根据实际情况，自行设定周期的大小，即period的值，该值将决定训练过程中多模态对齐的次数，同时，初始化循环起始值，将其设为n＝1，这意味着将在训练过程中执行多模态对齐的操作共计period次，每次从n＝1开始逐步增加n以进行相应的对齐操作；4建立单词与图像区域之间的对应关系其中记录了每个单词与所有相关图像区域之间的相关性；5通过学习每个单词的特定注意因子，进一步细化单词与所有图像区域之间的对应关系；6通过计算单词-图像区域对之间的余弦相似度得分评估每个单词在与图像区域的关联中的重要性；7根据余弦相似度得分更新特征表示；8判断是否达到了设定的循环周期大小，即判断是否满足条件nperiod。如果这个条件成立，更新n的值为n＝n+1后再次执行步骤4至步骤7的操作，随后再次进行循环判断，如果不满足条件n不小于period，则输出更新后的文本特征以及最终的图像文本相似度得分；9将更新后的文本特征作为先验知识，与通过视觉特征提取器得到的图像特征进行拼接后一起输入解码器以生成文本报告。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于周期性跨模态对齐的医学影像报告生成方法