买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：亚信科技(中国)有限公司

摘要：本申请公开了一种基于关联图片的知识问答方法、装置、设备及介质，涉及知识问答的技术领域。首先获取本地知识文档，对段落文本进行切分，获得多个文本块组；根据多个文本块组和第一关联集，建立第二关联集；获取用户问题，并根据用户问题和第二关联集，建立第三关联集；将第三关联集输入大模型中，获得答复内容；根据答复内容和第三关联集，建立第四关联集，并将第四关联集中的图片与答复内容进行组合，获得具有关联图片的知识答复。在此过程中，通过建立段落内容与图片之间关系的信息，将信息进行传递，获得问题、段落内容与图片之间关系的信息，再利用大模型能力，展示回答内容按段落展示相关图片，从而解决用户的问题诉求，满足用户需求。

主权项：1.一种基于关联图片的知识问答方法，其特征在于，包括：获取本地知识文档，并根据文档切分阈值对所述本地知识文档中的段落文本进行切分，获得多个文本块组；读取所述本地知识文档中的段落，并建立集合，所述集合包括段落序号、段落内容以及图片ID；若所述段落的类型为文本且文本内容为空，则继续读取所述本地知识文档中的段落；若所述段落的类型为文本且文本内容不为空，则将所述段落的段落序号和所述段落的段落内容记录到所述集合中，并继续读取所述本地知识文档中的段落；若所述段落的类型为图片，则创建图片ID，将所述图片ID添加在所述集合中的图片ID位置，并将所述集合保存到第一关联集后，初始化所述集合，继续读取所述本地知识文档中的段落；其中，所述根据文档切分阈值对所述本地知识文档中的段落文本进行切分，获得多个文本块组，包括：建立并初始化切分内容、临时内容、总和段落长度和累计段落长度；读取所述集合中的段落，将所述段落中的段落内容保存至所述临时内容中，并根据当前段落内容长度和所述累计段落长度，获得所述总和段落长度；根据所述总和段落长度与预设切分长度的比率，获得总和长度比率，以及根据所述累计段落长度与所述预设切分长度的比率，获得累计长度比率；当所述总和长度比率小于或等于预设总和比率值，则将所述临时内容保存至所述切分内容中，并将所述总和段落长度的值赋予所述累计段落长度后，继续执行所述读取所述集合中的段落的操作；根据所述累计长度比率、所述总和长度比率与所述预设总和比率值和预设累计比率值的关系，对所述临时内容进行切分处理，获得切分列表，所述切分列表包括所述多个文本块组；根据所述多个文本块组和所述第一关联集，建立第二关联集，所述第一关联集记录所述本地知识文档中段落文本，以及所述段落文本与图片的关联关系，所述第二关联集记录所述多个文本块组，以及所述多个文本块组与所述第一关联集的关联关系；获取用户问题，并根据所述用户问题和所述第二关联集，建立第三关联集，所述第三关联集记录所述用户问题，以及所述用户问题与所述第二关联集的关联关系；将第三关联集作为大模型的提示词输入所述大模型中，获得答复内容；根据所述答复内容和所述第三关联集，建立第四关联集，并将所述第四关联集中的图片与所述答复内容进行组合，获得具有关联图片的知识答复，所述第四关联集记录所述答复内容，以及所述答复内容与所述第三关联集的关联关系。

全文数据：

权利要求：

百度查询： 亚信科技(中国)有限公司 一种基于关联图片的知识问答方法、装置、设备及介质