买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:上海岩芯数智人工智能科技有限公司
摘要:本发明提出了一种用于大语言模型RAG问答的文件版面分析及图片信息提取方法,解决了对文件解析文本内容的过程中无法提取出图片中的信息、图片形式的表格信息等非文本信息,且对于非图片类型的文本表格信息的提取效果较差,无法很好地提取出表格的结构信息的问题;通过PaddleOCR和PP‑Structure来完成对于文件版面的分析及图片信息的提取,提高了系统对于文件中多类型信息的提取能力,并将提取后的文本结合RAG应用于大语言模型,进一步提高了大语言模型推理结果的准确度。
主权项:1.用于大语言模型RAG问答的文件版面分析及图片信息提取方法,其特征在于,包括如下步骤:步骤S1:将原始文件P1上传至对象存储服务,其中,所述对象存储服务OSS由开源对象存储服务器MinIO提供;步骤S2:根据P1所属文档类型的内容提取SDK包解析并提取P1的内容P1_content;步骤S3:判断P1文件类型,若P1为PDF格式文件,则执行步骤S4,若P1为word格式文件,则执行步骤S14;步骤S4:遍历P1,若P1中包含图片,则执行步骤S5,反之,执行步骤S17;步骤S5:获取P1中包含图片的页面的页码、图片信息和图片的坐标信息;步骤S6:将文件的OSS信息、含有图片的页码数组、是否是扫描件等信息作为请求参数调用Python服务的版面分析接口,其中,所述OSS信息包括bucket名称和OSS对象名称;步骤S7:通过MinIO客户端的SDK和OSS信息从MinIO中下载P1;步骤S8:将含有图片的对应的PDF页面转换为图片IMG_LIST;步骤S9:对图片进行版面分析和图片信息提取,获得表格和图片中的文本信息以及文本块的坐标信息;步骤S10:将获取的表格和图片的文本信息、文本块坐标信息,返回结果json样例的数据;步骤S11:根据json样例的数据,将表格和图片的文本信息根据文本块的坐标填充回最终文本结果中;步骤S12:判断PDF格式文件P1是否由word格式文件转换形成,若是,则执行步骤S13,反之,则执行步骤S18;步骤S13:删除MinIO中的由word格式文件转换形成的PDF格式文件;步骤S14:判断文档中是否包含图片,若文档中包含图片,则执行步骤S15,反之,执行步骤S17;步骤S15:将P1由word格式文件转换为PDF格式文件;步骤S16:将转换后的PDF格式文件上传至MinIO;步骤S17:对P1_content中的文本进行合并处理;步骤S18:得到最终文本结果;步骤S19:对文本进行分段处理;步骤S20:将分段后的文本存储至向量数据库和BM25数据库;步骤S21:通过RAG流程进行文本检索;步骤S22:根据检索出的文本与用户的问题结合,生成提示词prompt;步骤S23:大语言模型根据提示词prompt进行推理,并将推理结果反馈给用户。
全文数据:
权利要求:
百度查询: 上海岩芯数智人工智能科技有限公司 用于大语言模型RAG问答的文件版面分析及图片信息提取方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。