买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供了一种基于Transformer框架的电子卷宗案件要素认知方法和系统，包括：步骤S1：对多模态电子卷宗数据进行模拟生成；步骤S2：搭建电子卷宗案件要素认知网络模型；步骤S3：确定多任务学习框架，设定用于优化网络参数的损失函数，对于不同的任务输出使用各自任务的损失函数以及优化目标；步骤S4：对电子卷宗案件要素认知网络模型进行预训练；步骤S5：使用预训练后的模型进行微调训练；步骤S6：导出微调训练好的电子卷宗案件要素认知网络模型，通过直接部署成服务或集成于系统中使用。本发明能够根据不同类型的数据形式以及案由提取不同的关键案件要素，具有较好的鲁棒性和较高的识别准确率。

主权项：1.一种基于Transformer框架的电子卷宗案件要素认知方法，其特征在于，包括：步骤S1：使用法院审判全业务流程随案电子卷宗模板对多模态电子卷宗数据进行模拟生成，生成格式包括电子卷宗文本、电子卷宗扫描图像以及电子卷宗归目结构树；步骤S2：搭建基于多模态、多任务Transformer框架的电子卷宗案件要素认知网络模型，其组成包括两个部分：用于提取电子卷宗特征的基于Transformer框架的多模态编码器、完成下游任务的基于Transformer框架的多任务解码器；所述多模态编码器，包含基于Transformer架构的文本编码器，对于多模态输入中的格式文本信息进行编码处理，以及基于Swin-Transformer架构的视觉编码器，按照阅读习惯学习识别并提取图片上的文本内容进行特征编码处理；所述多任务解码器，使用用于自然语言处理的预训练的多语言BART模型，基于该解码器微调多语言BART模型对编码文本的理解，根据不同的任务使用不同微调方向的解码器输出解码后的电子卷宗数据中的案件要素、下游任务信息；步骤S3：确定多任务学习框架，设定用于优化网络参数的损失函数，对于不同的任务输出使用各自任务的损失函数以及优化目标；步骤S4：使用生成的多模态电子卷宗数据，对基于多模态、多任务Transformer框架的电子卷宗案件要素认知网络模型进行预训练，训练模型对于多模态的文本提取能力，将模型训练为一个多模态语言模型；步骤S5：使用预训练后的模型进行微调训练，构建多任务提示词进行多任务学习，对于不同的下游任务采取将多任务理解为多个不同的JSON格式数据预测问题，训练目标是将每个文档映射到与要素提取数据格式相一致的数据库或对于JSON格式数据进行完整性匹配与评查；步骤S6：导出微调训练好的基于多模态、多任务Transformer框架的电子卷宗案件要素认知网络模型，通过直接部署成服务或集成于系统中使用。

全文数据：

权利要求：

百度查询： 上海交通大学 基于Transformer框架的电子卷宗案件要素认知方法和系统