买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：云南联合视觉科技有限公司

摘要：本发明涉及一种基于多模态特征融合的手术时长预测方法，属于数字医疗技术领域。本发明包括步骤：利用特征初始化模块对术前数据进行编码和初始化，得到不同模态的特征信息；通过交叉注意特征融合模块对不同模态的特征进行相互学习和融合，提取影响手术时长的关键重要特征，得到多模态特征；通过多模态特征融合和时长预测模块，将多模态特征进行融合，再融合后的特征用于预测手术的持续时间。本发明能够充分利用多模态的数据信息，提高预测的准确性、稳定性。

主权项：1.一种基于多模态特征融合的手术时长预测方法，其特征在于：所述基于多模态特征融合的手术时长预测方法的具体步骤如下：Step1、利用特征初始化模块对术前数据进行编码和初始化，得到不同模态的特征信息；Step2、通过交叉注意特征融合模块对不同模态的特征进行相互学习和融合，提取影响手术时长的关键重要特征，得到多模态特征；Step3、通过多模态特征融合和时长预测模块，将多模态特征进行融合，再融合后的特征用于预测手术的持续时间；所述Step1包括如下：输入特征初始化模块的术前数据包括分类变量、数值变量以及文本变量；分类变量、数值变量属于非文本特征；文本变量属于文本特征；（1）分类变量包括外科医生ID、麻醉医生ID、科室ID、手术难度等级；分类变量采用one-hot编码，其中分类变量中的序数变量的值直接用整数的分类标签进行编码，标签的大小本身就表示了这些序数变量的相对关系；其中分类变量中的ID直接使用了ID的分类标签作为编码；（2）数值变量包括患者年龄、身高、体重；对于数值变量不需要额外编码；（3）文本变量包括手术过程名称，编码为数字；采用了预训练的BERT模型将文本编码为数字向量；在模型训练期间，固定了BERT的权重；这些数字向量反映单词的语义特征，包括词性、情感、主题；一个手术过程名称包含个token，每个token能被嵌入到一个向量中，直接计算这些数字向量的平均值，即： ;其中,是手术过程名的向量，是预训练的BERT模型，是第个token，这样，就得到一个代表手术过程名称的向量；所述Step2中包括：麻醉师和临床科室的身份都以ID的形式表示，将这些ID记为，并将非文本特征表示为，使用ID作为查询来关注非文本特征；具体细节如下：首先，采用可学习的仿射变换来获取查询、键和值的向量表示，对于单个数字ID，将其输入一个简单的线性层，以获得向量表示： ;其中是权重矩阵，是偏置向量；采用广播机制来学习每个位置的独特仿射变换： ;其中表示非文本变量的第个元素，表示的长度；第个仿射变换的参数由和给出，使用带有广播机制的矩阵乘法来表示这个过程； ;其中和分别是堆叠权重和偏差矩阵；表示带有广播的矩阵乘法；各特征对应的值V的仿射变换过程和键是相同的，但它们可学习的参数是相互独立的；最后，采用多头注意力来导出结果向量，该向量结合了不同麻醉师或临床科室的独特贡献和与之对应的手术条件； ;使用了这样的多头两个交叉注意力块来分别计算麻醉师ID和临床科室ID的初始融合特征，并分别记为麻醉师ID的初始融合特征和临床科室ID的初始融合特征；所述Step3包括如下：Step3.1、首先，原始非文本特征𝛽通过一组全连接层进行进一步的信息提炼，然后与手术过程名的向量以及交叉注意力的输出麻醉师ID的初始融合特征和临床科室ID的初始融合特征融合： ;其中，是全连接层的计算函数，表示特征向量的连接操作，是连接后的向量；Step3.2、上述Step3.1融合了非文本模态和文本模态的特征，以获取与预测手术持续时间相关的更全面的信息集；最后，利用一组全连接网络从中解码手术时长;。

全文数据：

权利要求：

百度查询： 云南联合视觉科技有限公司 一种基于多模态特征融合的手术时长预测方法