北京语言大学张奂奂获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京语言大学申请的专利一种多模态数字教材内容审查方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121144951B 。
龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511298751.0,技术领域涉及:G06F18/241;该发明授权一种多模态数字教材内容审查方法及装置是由张奂奂设计研发完成,并于2025-09-11向国家知识产权局提交的专利申请。
本一种多模态数字教材内容审查方法及装置在说明书摘要公布了:本发明公开一种多模态数字教材内容审查方法及装置,涉及数字教育技术领域。方法包括:获取互联网上的数字教材,构建数字教材资源;对数字教材资源进行标注,获得标注后的数字教材资源;将标注后的数字教材资源划分为合格的资源以及不合格的资源,构建多模态训练样本;对多模态训练样本进行处理,获得多个单模态特征向量;采用三层交叉注意力融合机制进行融合,获得多模态特征向量;构建初始的多模态分类模型;基于多模态特征向量,采用基于神经网络的训练方法进行训练,获得训练好的多模态分类模型;将获取的待审查的数字教材输入训练好的多模态分类模型中进行审查,获得审查结果。采用本发明可提高审查结果的准确率。
本发明授权一种多模态数字教材内容审查方法及装置在权利要求书中公布了:1.一种多模态数字教材内容审查方法,其特征在于,所述方法包括: S1、获取各个教育出版社出版的数字教材以及互联网上的数字教材;基于所述教材,构建包含文本、图像、音频以及视频的数字教材资源; S2、对所述数字教材资源进行标注,将视频处理为固定大小的帧,对每帧的图像以及该帧关联的语音和文本进行标注,获得标注后的数字教材资源;将标注后的数字教材资源划分为合格的资源以及不合格的资源,构建多模态训练样本; S3、对多模态训练样本进行处理,获得多个单模态特征向量; 其中,所述多个单模态特征向量包括:文本模态表示特征向量、音频模态表示特征向量、图像模态特征向量以及图像模态的补充特征向量;其中,采用VisionTransformer模型提取图像的人物框架特征向量作为图像模态的补充特征向量; S4、基于多个单模态特征向量,采用三层交叉注意力融合机制进行多模态融合,获得多模态特征向量; 其中,所述三层交叉注意力融合机制包括三层交叉注意力层; 其中,第一层用于对音频模态特征向量和文本模态特征向量进行融合,获得包含音频与文本的特征向量; 其中,所述对音频模态特征向量和文本模态特征向量进行融合的过程,通过下述公式1-5表示: 1 2 3 4 5 其中,A表示音频模态特征向量;T表示文本模态特征向量;MA表示多头注意力计算;MAA,T,T表示计算模态A特征向量与模态T特征向量的交叉注意力;FFN表示前馈神经网络计算;MAT,A,A表示计算模态T特征向量与模态A特征向量的交叉注意力;表示特征向量A与多头注意力向量的和;表示音频模态向量A与文本模态向量T经过交叉注意力单元计算后得到新的向量;表示特征向量T与多头注意力向量的和;表示文本模态向量T与音频模态向量A经过交叉注意力单元计算后得到新的向量;表示A与T经过交叉注意力融合后得到的最终结果特征向量; 其中,第二层用于对音频与文本的特征向量和图像模态特征向量进行融合,获得包含音频、文本以及图像的特征向量; 其中,第三层用于对包含音频、文本以及图像的特征向量与图像模态的补充特征向量进行融合,获得包含音频、文本、图像以及图像模态补充的特征向量; S5、构建初始的多模态分类模型;基于多模态特征向量,采用基于神经网络的训练方法,对初始的多模态分类模型进行训练,获得训练好的多模态分类模型; 其中,多模态分类模型,包括:融合向量层、多层卷积层、池化层以及全连接层; S6、获取待审查的数字教材;将所述待审查的数字教材输入训练好的多模态分类模型中进行审查,获得审查结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京语言大学,其通讯地址为:100083 北京市海淀区学院路15号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励