买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉云启智慧科技有限公司申请的专利一种基于模型耦合的多模态科学实验评估辅助方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118968382B 。

龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411037765.2，技术领域涉及：G06V20/40；该发明授权一种基于模型耦合的多模态科学实验评估辅助方法及系统是由李舵文;严鹤;王俊;胡琦设计研发完成，并于2024-07-31向国家知识产权局提交的专利申请。

本一种基于模型耦合的多模态科学实验评估辅助方法及系统在说明书摘要公布了：本发明提出了一种基于模型耦合的多模态科学实验评估辅助方法及系统，属于数字实验评估领域，包括：S1、使用采集设备对学生的实验操作过程进行视频采集，将科学实验视频序列上传至流媒体服务器；S2、流媒体服务器对所述科学实验视频序列分别使用姿态评估模型和目标检测模型进行特征提取并进行融合，得到多维特征；S3、根据所述多维特征对科学实验视频序列进行分类和评估；S4、获取实验操作的评分标准文档，并根据实验操作的评分标准文档构建实验评分标准的向量数据库；S5、利用多模态大模型生成实验评估报告；S6、利用实验评估报告对多模态大模型进行迭代优化训练。本申请通过结合视频采集、科学实验视频序列特征提取和分类，实现科学实验的全面自动化评估，不仅能够客观地分析学生的实验操作，还能生成详细的评估报告，大大提高了实验教学的效率和质量，同时通过持续学习不断提高评估的准确性。

本发明授权一种基于模型耦合的多模态科学实验评估辅助方法及系统在权利要求书中公布了：1.一种基于模型耦合的多模态科学实验评估辅助方法，其特征在于，包括以下步骤：S1、使用采集设备对学生的实验操作过程进行视频采集，得到科学实验视频序列，将科学实验视频序列上传至流媒体服务器；S2、流媒体服务器对所述科学实验视频序列分别使用姿态评估模型和目标检测模型进行特征提取并进行融合，得到多维特征；S3、根据所述多维特征对科学实验视频序列进行分类和评估，得到分类结果和评估结果；S4、获取实验操作的评分标准文档，并根据实验操作的评分标准文档构建实验评分标准的向量数据库；S5、利用多模态大模型基于多维特征、分类结果、评估结果和实验评分标准的向量数据库生成实验评估报告；S6、利用实验评估报告对多模态大模型进行迭代优化训练；步骤S2具体包括：S21、使用姿态评估模型按照预定频率从所述科学实验视频序列中提取学生的人体关键点信息；S22、使用目标检测模型按照设定间隔从所述科学实验视频序列中识别并定位实验对象和器材的位置信息；S23、根据学生的人体关键点信息、实验对象和器材的位置信息进行信息融合，形成多维特征；特征提取网络包括下采样、基于LKA的视觉注意力神经网络和Norm层，其中基于LKA的视觉注意力神经网络包括深度卷积、深度扩展卷积以及通道卷积；预测关键点网络采用第一多阶段架构，每个阶段逐步精细化关键点位置预测；其中每个阶段由3×3的卷积层构成，每个阶段均采用L2损失函数进行优化；预测关键点网络的损失函数为： 其中，F1Loss表示预测关键点网络的损失函数，S表示第一多阶段架构中的总阶段数，p表示人体关键点，wp表示关键点p的权重，gtp表示关键点p的真实位置，pvp表示关键点p的预测位置；肢体网络采用第二多阶段架构，其中每个阶段由1×1的卷积层构成；所述目标检测模型的网络结构包括轻量级分类头、下采样层和秩引导块，其中，轻量级分类头包括2个深度可分离卷积和1个通道卷积的轻量架构；下采样层包括点状卷积和深度卷积；在下采样层中，利用点状卷积调节通道维度，使用深度卷积进行空间下采样，计算成本和参数成本如下： Nparam＝2c2+18c其中，h表示输入特征图的高度，w表示输入特征图的宽度，c表示输入特征图通道数，O表示计算成本，N表示参数成本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人云启智慧科技有限公司，其通讯地址为：430000 湖北省武汉市江汉区经济开发区江兴路11号圈外创智中心C栋；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。