买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳市明心数智科技有限公司申请的专利端到端的多模态信息抽取方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121072476B 。

龙图腾网通过国家知识产权局官网在2026-01-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511613707.4，技术领域涉及：G06F40/151；该发明授权端到端的多模态信息抽取方法、装置、电子设备及存储介质是由黄瑞玖;何中卿设计研发完成，并于2025-11-06向国家知识产权局提交的专利申请。

本端到端的多模态信息抽取方法、装置、电子设备及存储介质在说明书摘要公布了：本申请涉及端到端的多模态信息抽取技术领域，揭示了一种端到端的多模态信息抽取方法、装置、电子设备及存储介质，其中，方法包括：利用视觉语言模型深度融合图像视觉特征与文本语义特征，并通过预置提示词机制，能够针对不同文档类型进行精准化信息抽取，在保证准确性的同时维持了良好的泛化能力，直接输出结构化的多模态信息。本发明的有益效果：省去了繁琐的二次处理环节，大幅提升了文档信息抽取的自动化程度与处理效率，通过构建端到端的处理架构，将传统多阶段流水线整合为统一的多模态推理过程，有效消除了现有技术在处理环节上的累积问题。

本发明授权端到端的多模态信息抽取方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种端到端的多模态信息抽取方法，其特征在于，所述方法包括： 获取输入的文档数据；其中，所述文档数据为PDF文档或图像格式文档； 将所述文档数据转化为预设标准格式的图像数据； 识别所述图像数据的图像类型； 根据所述图像类型获取对应的文档提示词； 将所述文档提示词和所述图像数据输入至预设的视觉语言模型中，以提取所述图像数据中对应所述文档提示词的目标字段； 对所述目标字段进行结构化处理，得到所述文档数据的第一多模态信息； 所述根据所述图像类型获取对应的文档提示词的步骤，包括： 判断所述图像类型是否在预设预制类型数据库中； 若在所述预设预制类型数据库中，则根据识别出的图像类型，从所述预设预制类型数据库中匹配一个基础提示词模板； 获取所述多模态信息的预期用途信息； 基于所述预期用途信息，从所述预设预制类型数据库中确定需要抽取的扩展字段集合； 根据预定义的字段优先级规则，对所述扩展字段集合中的字段进行重要性评估； 基于评估结果，提取重要性高于预设重要性预制阈值的目标扩展字段； 为每个目标扩展字段生成字段描述语句；其中，所述字段描述语句包含字段定义、抽取范围和格式要求； 根据所述字段描述语句之间的逻辑关联性，对所述字段描述语句进行分组和排序； 将分组排序后的所述字段描述语句以自然语言形式追加到所述基础提示词模板的指定位置，得到预制提示词并将其作为文档提示词； 所述识别所述图像数据的图像类型的步骤，包括： 将所述图像数据输入至预训练的文档类型分类模型中； 所述文档类型分类模型基于所述图像数据的布局语义特征和视觉实体特征进行联合推理，输出文档类型概率分布；其中，所述布局语义特征通过分析文档的空间结构、区域划分和文本行排布来提取；所述视觉实体特征通过检测文档中是否存在徽标、印章、特定表格线或手写笔迹来提取； 根据所述文档类型概率分布输出所述图像数据的图像类型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳市明心数智科技有限公司，其通讯地址为：518000 广东省深圳市南山区粤海街道高新区社区科技南路18号深圳湾科技生态园12栋B5001；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。