买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浪潮电子信息产业股份有限公司

摘要：本发明涉及人工智能技术领域，具体公开了视觉问答任务的评价方法、设备、介质及计算机程序产品，通过将包括问题数据和视觉模态数据的第一多模态数据输入目标视觉问答模型得到生成答案数据，将包括生成答案数据、问题数据、评价任务提示词和视觉模态数据的第二多模态数据输入预训练模型，该评价任务提示词携带评价任务信息和评价标准，以使预训练模型对生成答案数据进行准确性评价并给出推理过程数据，提高了对目标视觉问答模型的质量评价结果的可解释性和可靠性，有助于获得更准确的模型质量评价结果，通过将据此检验过质量合格的目标视觉问答模型部署于目标设备，保障了目标视觉问答模型在应用中的生成效果。

主权项：1.一种视觉问答任务的评价方法，其特征在于，包括：获取预训练模型、第一多模态数据以及目标视觉问答模型；所述第一多模态数据包括文本模态数据和视觉模态数据，所述第一多模态数据中的文本模态数据为问题数据；将所述第一多模态数据输入所述目标视觉问答模型，得到生成答案数据；获取第二多模态数据；所述第二多模态数据包括文本模态数据和视觉模态数据，所述第二多模态数据中的视觉模态数据与所述第一多模态数据中的视觉模态数据相同，所述第二多模态数据中的文本模态数据包括所述第一多模态数据中的问题数据、所述生成答案数据和评价任务提示词，所述评价任务提示词包括对所述目标视觉问答模型的评价任务信息和评价标准；将所述第二多模态数据输入所述预训练模型，输出对所述生成答案数据的准确性评价结果数据和对应的推理过程数据；根据所述准确性评价结果数据和所述推理过程数据得到对所述目标视觉问答模型的质量评价结果，若所述质量评价结果为合格，则将所述目标视觉问答模型部署于目标设备，以利用所述目标视觉问答模型执行视觉问答任务；其中，将所述第二多模态数据输入所述预训练模型，输出对所述生成答案数据的准确性评价结果数据和对应的推理过程数据，包括：将所述第二多模态数据输入所述预训练模型，以基于所述预训练模型按顺序执行下述推理任务：根据对所述问题数据的理解分析视觉模态数据的内容，得到视觉模态数据的分析结果；根据所述视觉模态数据的分析结果，生成对应所述问题数据的多个备选答案数据，通过对比所述备选答案数据和所述生成答案数据，对所述生成答案数据的正确性进行判断，得到正确性判断结果；基于所述视觉模态数据的分析结果，生成与所述正确性判断结果对应的推理过程数据；根据所述评价标准和所述正确性判断结果，生成对所述生成答案数据的所述准确性评价结果数据；其中，将所述第二多模态数据输入所述预训练模型，以基于所述预训练模型按顺序执行所述推理任务，包括：将所述问题数据、所述第二多模态数据中的视觉模态数据和第一评价任务提示词输入所述预训练模型，输出所述视觉模态数据的分析结果；所述第一评价任务提示词为根据对所述问题数据的理解分析视觉模态数据的内容，得到所述视觉模态数据的分析结果；将所述视觉模态数据的分析结果和第二评价任务提示词输入所述预训练模型，输出多个所述备选答案数据；所述第二评价任务提示词为根据所述视觉模态数据的分析结果，生成对应所述问题数据的多个所述备选答案数据；将各所述备选答案数据、所述生成答案数据和第三评价任务提示词输入所述预训练模型，输出所述正确性判断结果；所述第三评价任务提示词为通过对比所述备选答案数据和所述生成答案数据，对所述生成答案数据的正确性进行判断，得到所述正确性判断结果；将所述视觉模态数据的分析结果和第四评价任务提示词输入所述预训练模型，输出所述推理过程数据；所述第四评价任务提示词为基于所述视觉模态数据的分析结果，生成与所述正确性判断结果对应的所述推理过程数据；将所述评价标准、所述正确性判断结果和第五评价任务提示词输入所述预训练模型，输出所述准确性评价结果数据；所述第五评价任务提示词为根据所述评价标准和所述正确性判断结果，生成对所述生成答案数据的所述准确性评价结果数据；其中，所述预训练模型包括视觉变换器模块、文本向量化处理模块、多模态融合模块和语言模型；所述视觉变换器模块用于将输入的视觉模态数据转换为视觉张量；所述文本向量化处理模块用于将输入的文本数据转换为文本张量；所述多模态融合模块用于将所述视觉张量和所述文本张量进行模态融合处理后，输出模态融合结果；所述语言模型用于根据所述模态融合结果得到所述推理过程数据；将所述模态融合结果输入评价函数，得到所述准确性评价结果数据。

全文数据：

权利要求：

百度查询： 浪潮电子信息产业股份有限公司 视觉问答任务的评价方法、设备、介质及计算机程序产品