买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明属于视频数据处理技术领域，为解决数据数量、多样性和质量三者无法同时兼顾的问题，提供了一种基于无标注网络视频数据的多模态预训练方法及系统。其中，基于无标注网络视频数据的多模态预训练方法包括：利用大语言模型和图像‑文本模型对视频数据集进行初步细化，生成初步的训练数据集，再引入噪音控制损失函数下，初步训练视频‑语言大模型，作为前一阶段训练得到的视频‑语言大模型；在前一阶段训练得到的视频‑语言大模型未训练完成时，利用前一阶段训练得到的视频‑语言大模型对视频数据集迭代细化，再引入同样噪音控制损失函数下，迭代训练视频‑语言大模型，直至训练完成。其提高了视频中的语音与字幕对应关系识别准确性。

主权项：1.一种基于无标注网络视频数据的多模态预训练方法，其特征在于，包括：获取视频数据集，利用预设大语言模型和图像-文本模型对所述视频数据集进行初步细化，生成初步的训练数据集，再引入噪音控制损失函数，初步训练视频-语言大模型，作为前一阶段训练得到的视频-语言大模型；判断前一阶段训练得到的视频-语言大模型是否达到设定要求，若是，则结束训练；若否，则利用前一阶段训练得到的视频-语言大模型对所述视频数据集进行迭代细化，并更新训练数据集，再引入同样噪音控制损失函数，迭代训练视频-语言大模型，直至训练得到设定要求的视频-语言大模型，以利用最终训练完成的视频-语言大模型来识别视频内容中的语音与字幕对应关系；所述生成初步的训练数据集的步骤包括：从视频数据集的视频片段中均匀抽取若干帧，利用图像-文本模型生成每一帧的描述；利用大语言模型，概括相应视频片段的标题、标签和所有帧的描述，形成整个相应视频片段的描述，作为相应视频片段的标注，生成初步的训练数据集；所述利用前一阶段训练得到的视频-语言大模型对所述视频数据集进行迭代细化的步骤包括：从视频数据集的视频片段中均匀抽取若干帧，由视频编码器编码；将相应视频片段的标题、标签和语音识别结果依照文本提示词进行编排；利用前一阶段训练得到的视频-语言大模型对视频编码器编码后的视频以及编排后的文本提示词进行共同处理，生成视频描述内容，得到相应训练数据集；噪音控制损失函数采用AdaTaiLr损失函数来表征；所述AdaTaiLr损失函数设为： 其中，为训练数据集概率分布，为训练数据集采样的视频-文本对中的文本，指文本的第个独立单位元素的编号，表示模型预测所有独立单位元素概率的向量；为模型预测第个独立单位元素为的概率，即向量中的元素；为0-1向量，仅有处为1，为词表中所有独立单位元素数量；为词表中第个独立单位元素；为关于训练数据集概率分布的期望；为采样出视频-文本对中的文本的长度；为常数；表示1-范数函数；表示中间参数。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 北京达佳互联信息技术有限公司 山东大学 基于无标注网络视频数据的多模态预训练方法及系统