买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院自动化研究所;华东医院

摘要：本发明涉及血管关键点识别技术领域，提供一种基于语音交互和多源信息融合的血管关键点识别方法，包括：基于交互语音内容得到造影体位嵌入文本和血管关键点名称；将血管造影图像、造影体位嵌入文本和血管关键点名称输入至语音增强的血管关键点识别模型，输出关键点预测分数图；模型包括基于特征的检测模块、基于体位的检测模块和基于关键点的检测模块；基于特征的检测模块提取血管造影图像的第一特征图；基于体位的检测模块提取造影体位嵌入文本的投影特征，基于投影特征和第一特征图得到第二特征图；基于关键点的检测模块提取血管关键点名称的关键点投影特征，基于关键点投影特征和第二特征图得到关键点预测分数图，提高血管关键点识别的准确率。

主权项：1.一种基于语音交互和多源信息融合的血管关键点识别方法，其特征在于，包括：获取血管造影图像和医生术中的交互语音内容，并基于所述交互语音内容得到造影体位嵌入文本和血管关键点名称，所述造影体位嵌入文本是指包含不同部位血管对应的造影体位名称的文本；将所述血管造影图像、所述造影体位嵌入文本和所述血管关键点名称输入至语音增强的血管关键点识别模型中，得到所述语音增强的血管关键点识别模型输出的关键点预测分数图；所述语音增强的血管关键点识别模型包括基于特征的检测模块、基于体位的检测模块和基于关键点的检测模块；所述基于特征的检测模块用于提取所述血管造影图像的第一特征图；所述基于体位的检测模块用于提取所述造影体位嵌入文本的投影特征，并基于所述投影特征和所述第一特征图，得到第二特征图；所述基于关键点的检测模块用于提取所述血管关键点名称的关键点投影特征，并基于所述关键点投影特征和所述第二特征图，得到所述关键点预测分数图；所述基于关键点的检测模块包括关键点文本编码器、提示编码器、自注意力投影模块和第一融合模块；所述关键点文本编码器用于提取所述血管关键点名称中各个关键点对应的名称编码特征，所述提示编码器用于对所述名称编码特征进行跨模态投影，得到所述关键点投影特征，所述自注意力投影模块用于对所述第二特征图进行跨模态投影，得到图像多模态嵌入特征，所述第一融合模块用于在多模态嵌入空间下，计算所述关键点投影特征和所述图像多模态嵌入特征的内积，得到所述关键点预测分数图。

全文数据：

权利要求：

百度查询： 中国科学院自动化研究所 华东医院 基于语音交互和多源信息融合的血管关键点识别方法