买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明公开了一种基于知识图谱的多模态习题表征方法,涉及多模态表征技术领域,包括:获取多模态信息的数学习题信息以及相关知识点,提取多模态习题涉及的所有元素;提取多模态习题的图像和文本特征;基于表层理解规则,明确习题文本和图片中各元素之间的空间关系,并构建表示表层信息的知识图谱;基于隐层理解的规则,将习题涉及的相关定理和公式转化为形式化语言,并构建表示隐层信息的知识图谱;将表示表层信息和表示隐层信息的知识图谱融合为表示完整的习题信息的知识图谱;基于表示不同习题信息的知识图谱节点和边,计算习题之间的相似度和困难度及文本知识图谱和图像知识图谱的匹配度;基于自动解题模型,获得习题的深度表征。
主权项:1.一种基于知识图谱的多模态习题表征方法,其特征在于,包括:获取多模态习题信息及相关知识点,对所述多模态习题信息进行预处理获得预处理后的多模态习题信息;对所述预处理后的多模态习题信息提取图像元素信息和文本关键信息,将所述图像元素信息和所述文本关键信息转化为形式化语言,获得图像形式化语言和文本形式化语言;基于表层理解原则,构建所述图像形式化语言和所述文本形式化语言的形式化语言集合,明确习题文本和图像中各元素之间的空间关系,构建表示表层信息的知识图谱;基于隐层理解规则,将习题涉及的相关定理和公式转化为形式化语言,构建表示隐层信息的知识图谱,将所述表示表层信息的知识图谱和所述表示隐层信息的知识图谱进行融合获得表示完整的习题信息的知识图谱;将图像形式化语言和文本形式化语言分别转化为图像知识图谱和文本知识图谱,基于所述表示完整的习题信息的知识图谱中的节点和边,计算习题之间的相似度和困难度及所述图像知识图谱和所述文本知识图谱的匹配度;将所述图像形式化语言、所述文本形式化语言及所述表示完整的习题信息的知识图谱输入习题自动解题模型,获得习题的深度表征。
全文数据:
权利要求:
百度查询: 暨南大学 广东光大信息科技股份有限公司 一种基于知识图谱的多模态习题表征方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。