买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海岩芯数智人工智能科技有限公司

摘要：本发明提出了一种用于大语言模型RAG问答的文件版面分析及图片信息提取方法，解决了对文件解析文本内容的过程中无法提取出图片中的信息、图片形式的表格信息等非文本信息，且对于非图片类型的文本表格信息的提取效果较差，无法很好地提取出表格的结构信息的问题；通过PaddleOCR和PP‑Structure来完成对于文件版面的分析及图片信息的提取，提高了系统对于文件中多类型信息的提取能力，并将提取后的文本结合RAG应用于大语言模型，进一步提高了大语言模型推理结果的准确度。

主权项：1.用于大语言模型RAG问答的文件版面分析及图片信息提取方法，其特征在于，包括如下步骤：步骤S1：将原始文件P1上传至对象存储服务，其中，所述对象存储服务OSS由开源对象存储服务器MinIO提供；步骤S2：根据P1所属文档类型的内容提取SDK包解析并提取P1的内容P1_content；步骤S3：判断P1文件类型，若P1为PDF格式文件，则执行步骤S4，若P1为word格式文件，则执行步骤S14；步骤S4：遍历P1，若P1中包含图片，则执行步骤S5，反之，执行步骤S17；步骤S5：获取P1中包含图片的页面的页码、图片信息和图片的坐标信息；步骤S6：将文件的OSS信息、含有图片的页码数组、是否是扫描件等信息作为请求参数调用Python服务的版面分析接口，其中，所述OSS信息包括bucket名称和OSS对象名称；步骤S7：通过MinIO客户端的SDK和OSS信息从MinIO中下载P1；步骤S8：将含有图片的对应的PDF页面转换为图片IMG_LIST；步骤S9：对图片进行版面分析和图片信息提取，获得表格和图片中的文本信息以及文本块的坐标信息；步骤S10：将获取的表格和图片的文本信息、文本块坐标信息，返回结果json样例的数据；步骤S11：根据json样例的数据，将表格和图片的文本信息根据文本块的坐标填充回最终文本结果中；步骤S12：判断PDF格式文件P1是否由word格式文件转换形成，若是，则执行步骤S13，反之，则执行步骤S18；步骤S13：删除MinIO中的由word格式文件转换形成的PDF格式文件；步骤S14：判断文档中是否包含图片，若文档中包含图片，则执行步骤S15，反之，执行步骤S17；步骤S15：将P1由word格式文件转换为PDF格式文件；步骤S16：将转换后的PDF格式文件上传至MinIO；步骤S17：对P1_content中的文本进行合并处理；步骤S18：得到最终文本结果；步骤S19：对文本进行分段处理；步骤S20：将分段后的文本存储至向量数据库和BM25数据库；步骤S21：通过RAG流程进行文本检索；步骤S22：根据检索出的文本与用户的问题结合，生成提示词prompt；步骤S23：大语言模型根据提示词prompt进行推理，并将推理结果反馈给用户。

全文数据：

权利要求：

百度查询： 上海岩芯数智人工智能科技有限公司 用于大语言模型RAG问答的文件版面分析及图片信息提取方法