买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川省肿瘤医院

摘要：本发明属于图像信息处理技术领域，提供了基于多模态大模型的术中信息提取方法和手术引导系统。基于多模态大模型的术中信息提取方法和手术引导系统包括步骤1，数据获取模块获取外部医学数据，用于构建医学向量知识库；步骤2，监测模块获取内窥镜图像和手术预案，给出手术指令引导，并监测当前的手术进程与手术预案是否相同；步骤3：检索模块根据医生提出的问题，从医学向量知识库中进行检索，生成上下文信息；本申请所提供的技术方案中，检索模块从中提取到与手术过程相关的关键信息，然后将其整理为针对医生手术的融合信息，从而让医生在手术过程中具有相关的参考信息。

主权项：1.基于多模态大模型的术中信息提取方法，其特征在于：包括如下步骤：步骤1，数据获取模块获取外部医学数据，用于构建医学向量知识库；步骤2，监测模块获取内窥镜图像和手术预案，给出手术指令引导，并监测当前的手术进程与手术预案是否相同；如果当前的手术进程与手术预案相同，则监测模块向显示模块发送引导信息；如果当前的手术进程与手术预案不同，则监测模块将内窥镜图像发送至检索模块；步骤3：检索模块根据医生提出的问题，从医学向量知识库中进行检索，生成上下文信息；步骤4，检索模块将检索到的上下文信息、生成上下文信息的问题以及手术预案发送至融合模块，融合模块基于上下文信息、生成上下文信息的问题以及手术预案生成prompt，并将prompt发送至分析模块；步骤5，分析模块基于prompt和内窥镜图像，生成手术的融合信息；步骤2包括以下步骤：步骤21：监测模块获取手术预案，根据手术预案将手术分解为若干个手术进程，并根据识别信息，得出当前的手术预案中的手术进程；步骤22：监测模块获取内窥镜图像，监测模块从内窥镜图像中提取图像特征，然后将图像特征发送至信息整合模块，信息整合模块输出当前的手术进程；步骤23：当手术预案中的手术进程与当前的手术进程相同时，则监测模块向显示模块发送引导信息；当手术预案中的手术进程与当前的手术进程不同时，则监测模块将内窥镜图像发送至检索模块；所述步骤3具体包括以下步骤：步骤31，检索模块对医学向量知识库进行预检索；步骤32：医生通过输入模块向检索模块输入问题，检索模块计算问题和医学向量知识库中的块的相似度，以提取出上下文序列，医学向量知识库中的块为医学向量知识库中的文本的段落；步骤33：检索模块通过LangChain框架计算上下文序列中各上下文与问题之间的语义相似度，对检索得到的上下文进行重排名，将与问题最相关的上下文重新定位到输出位置，从而输出上下文信息；步骤5包括如下步骤：步骤51：将内窥镜图像发送至VisionEncoder模块，VisionEncoder模块将内窥镜图像提取为图像特征序列，VisionEncoder模块对图像特征序列压缩为固定长度为256的序列；步骤52：映射结构FM将图像特征序列映射至文本内容中，得到映射信息；步骤53：信息整合模块内置有Qwen-VL-Plus模型，信息整合模块接收映射信息和prompt，将映射信息和prompt输入至Qwen-VL-Plus模型中生成手术的融合信息；外部医学数据包括内窥镜手术知识库中的数据、内窥镜手术实操指南数据、医院内窥镜手术积累数据、内窥镜手术指令与操作数据、临床医学知识库、普外科手术知识库中的数据。

全文数据：

权利要求：

百度查询： 四川省肿瘤医院 基于多模态大模型的术中信息提取方法和手术引导系统