买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明提出了一种大学英语演讲多模态自动评分方法、介质及设备，其中方法包括：获取历史演讲数据；提取文本特征、音频特征和视频特征，并进行模型的训练，以得到语言使用评分子模型、言语表达评分子模型和非语言评分子模型；根据三个子模型的输出和综合评分生成第四数据集；进行模型的训练，以得到多模态融合学习模型；获取待评分演讲视频，并提取对应的文本特征、音频特征和视频特征，以及通过三个子模型输出对应的单项评分；将单项评分输入到多模态融合学习模型，以通过多模态融合学习模型输出待评分演讲视频对应的最终评分结果；能够对英语演讲进行多模态评分，提高评分准确性、评分效率；同时，降低英语演讲评分所需成本。

主权项：1.一种大学英语演讲多模态自动评分方法，其特征在于，包括以下步骤：获取历史演讲数据，其中，所述历史演讲数据包括演讲视频和所述演讲视频对应的人工评分结果，所述人工评分结果包括语言使用评分、言语表达评分、非语言评分和综合评分；提取所述演讲视频对应的文本特征、音频特征和视频特征，并根据所述文本特征和所述语言使用评分生成第一数据集，根据所述音频特征和所述言语表达评分生成第二数据集，根据所述视频特征和所述非语言评分生成第三数据集；根据第一数据集进行模型的训练，以得到语言使用评分子模型，并根据第二数据集进行模型的训练，以得到言语表达评分子模型，以及根据第三数据集进行模型的训练，以得到非语言评分子模型；获取所述语言使用评分子模型的输出结果、所述言语表达评分子模型的输出结果和所述非语言评分子模型的输出结果，并根据所述语言使用评分子模型的输出结果、所述言语表达评分子模型的输出结果、所述非语言评分子模型的输出结果和所述综合评分生成第四数据集；根据所述第四数据集进行模型的训练，以得到多模态融合学习模型；获取待评分演讲视频，并提取所述待评分演讲视频对应的文本特征、音频特征和视频特征，以及将所述待评分演讲视频对应的文本特征、音频特征和视频特征分别输入到所述语言使用评分子模型、所述言语表达评分子模型和所述非语言评分子模型，以通过所述语言使用评分子模型、所述言语表达评分子模型和所述非语言评分子模型输出对应的单项评分；将所述单项评分输入到所述多模态融合学习模型，以通过所述多模态融合学习模型输出所述待评分演讲视频对应的最终评分结果；其中，所述第一数据集包括第一训练集和第一测试集，其中，根据第一数据集进行模型的训练，以得到语言使用评分子模型，包括：将所述第一训练集中的文本特征和对应的语言使用评分输入到初始LRRR、RF、SVR模型中；采用K折交叉验证进行超参数的粗调，并通过网格搜索的方式进行超参数的细调，以得到文本特征对应的LRRR、RF、SVR模型；将所述第一测试集分别输入到所述文本特征对应的LRRR、RF、SVR模型中，以进行性能评估，并根据评估结果确定最终语言使用评分模型。

全文数据：

权利要求：

百度查询： 厦门大学 大学英语演讲多模态自动评分方法