买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院空天信息创新研究院

摘要：本发明提供了一种基于基础模型的思维图推理方法，包括：对输入对象进行特征编码，分别得到输入对象包括的文本和图像的特征编码；提取输入对象包括的思维单元，对每个思维单元进行特征编码，得到输入对象的思维图的特征表示；将文本的特征编码与图像的特征编码和思维图的特征表示进行融合，得到输入对象的推理思维的特征表示；解码推理思维的特征表示，得到输入对象的推测思维关联；将推测思维关联作为prompt插入输入对象，并重复上述步骤，得到输入对象的输出结果。本发明还提供了一种基于基础模型的思维图推理装置、设备及存储介质。

主权项：1.一种基于基础模型的思维图推理方法，其特征在于，包括：对输入对象进行特征编码，分别得到所述输入对象包括的文本和图像的特征编码；提取所述输入对象包括的思维单元，对每个所述思维单元进行特征编码，得到所述输入对象的思维图的特征表示；将所述文本的特征编码与所述图像的特征编码和所述思维图的特征表示进行融合，得到所述输入对象的推理思维的特征表示；解码所述推理思维的特征表示，得到所述输入对象的推测思维关联；将所述推测思维关联作为prompt插入所述输入对象，并重复上述步骤，得到所述输入对象的输出结果；所述提取所述输入对象包括的思维单元，对每个所述思维单元进行特征编码，得到所述输入对象的思维图的特征表示包括：提取所述输入对象包括的思维单元，基于多头注意力机制生成所述思维单元的多个特征向量；将所述多个特征向量进行图注意力加权计算，得到所述思维单元的图注意力特征表示；将全部思维单元的图注意力特征表示组成向量矩阵，并对所述向量矩阵进行全连接和归一化处理，得到所述思维图的特征表示；所述提取所述输入对象包括的思维单元包括：抽取所述输入对象包括的全部文本的逻辑三元组，每一所述逻辑三元组包括三个思维单元，所述三个思维单元中相邻的思维单元之间存在推理关联；将所述输入对象包括的全部思维单元进行聚类，并将每一类思维单元进行聚合；从每一类所述思维单元中选择符合预设标准的思维单元构成所述输入对象的思维单元；所述将所述文本的特征编码与所述图像的特征编码和所述思维图的特征表示进行融合，得到所述输入对象的推理思维的特征表示包括：通过注意力机制融合所述文本的特征编码和所述图像的特征编码，得到文图融合特征向量；通过注意力机制融合所述文本的特征编码和所述思维图的特征表示，得到思维融合特征向量；基于门控机制将所述文本的特征编码、所述文图融合特征向量和所述思维融合特征向量进行加权融合，得到所述输入对象的推理思维的特征表示；所述基于门控机制将所述文本的特征表示、所述文图融合特征向量和所述思维融合特征向量进行加权融合，得到所述输入对象的推理思维的特征表示包括：基于所述文本的特征表示、所述文图融合特征向量和所述思维融合特征向量进行加权计算，得到门控机制的遗忘因子和记忆因子；将所述记忆因子乘以所述文本的特征表示，将所述遗忘因子乘以所述文图融合特征向量和所述思维融合特征向量，并将得到的结果进行融合，得到所述输入对象的推理思维的特征表示。

全文数据：

权利要求：

百度查询： 中国科学院空天信息创新研究院 基于基础模型的思维图推理方法、装置、设备及介质