买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河北工程大学

摘要：本发明公开了一种基于ChatGLM模型的院前急救文本分类标注方法，包括：S1：获取院前急救病历的历史数据，数据预处理后得到院前急救文本，人工标注疾病ICD编码；S2：选择ChatGLM‑6B基准模型，冻结基准模型参数，分别引入P‑tuningv2可训练参数和Lora旁路进行模型微调；S3：利用微调模型完成待处理的院前急救病历的分类标注，得到疾病ICD编码。本发明还公开了一种电子设备、存储介质及计算机程序产品。本发明通过语言模型增强学习进行模型微调，提高了院前急救文本信息的分类标注准确性和专业性，为急危重症病人的疾病初诊提高了工作效率，实现精确识别和全面预测，具备广阔的应用前景。

主权项：1.基于ChatGLM模型的院前急救文本分类标注方法，其特征在于，包括：S1：获取院前急救病历的历史数据，数据预处理后得到院前急救文本，人工标注疾病ICD编码，得到院前急救文本数据集；S2：选择ChatGLM-6B基准模型，冻结基准模型参数，院前急救文本通过模型的嵌入层转换为词嵌入向量，引入P-tuningv2的可训练参数，生成连续嵌入序列，作为模型输入向量，同时模型的自注意力层引入含有低秩矩阵的Lora旁路，通过最小化损失函数求得最小损失，反向传播更新参数值，实现模型微调；引入P-tuningv2的可训练参数是通过在ChatGLM-6B基准模型添加PrefixEncoder模块实现的，PrefixEncoder模块由两层感知机构成；预训练的语言模型为M，参数为θ，需要固定预训练模型的原始参数θ；1输入x其词嵌入表示为x=[x1,x2,…,xn]，其中xi是输入序列中的第i个词嵌入表示；2通过P-tuningv2构造一个可学习的参数向量p代表softprompt，p为固定长度其向量表示为p=[p1,p2,…,pm]；3将x和p连接起来，形成新的输入x’=[p;x]；4在Lora微调中，通过构建含有低秩矩阵A,B的旁路实现对模型的高效调优，该过程的公式表示为h=Mθx+B×fA×Mθx，其中h表示模型输出，f为非线性激活函数Gelu，A、B为引入的低秩矩阵，在结合P-tuningv2后，形成了新的输入x’，将该输入通过模型进行处理，并应用Lora的修改，则模型的输出公式变为h’=Mθp,x+B×fA×Mθp,x，其中Mθp,x表示模型在输入x’=[p;x]上的输出；5最终的模型输出y将由h’通过模型的输出层得到，如果模型的输出层是一个线性层，则模型最终输出为y=Wout×h’+bout，其中Wout和bout分别代表输出层的权重和偏执；6模型微调的目标是最小化损失函数L，将得到的最小损失通过反向传播计算关于p、A和B的梯度，并更新这些参数，其公式表示为minLy,ytrue，其中ytrue代表真实标签；S3：利用微调模型完成待处理的院前急救病历的分类标注，得到疾病ICD编码。

全文数据：

权利要求：

百度查询： 河北工程大学 基于ChatGLM模型的院前急救文本分类标注方法、电子设备、存储介质及计算机程序产品