买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京搜狐新媒体信息技术有限公司申请的专利一种基于自监督学习的视频内容分析方法及相关装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119600519B 。

龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510122390.8，技术领域涉及：G06V20/40；该发明授权一种基于自监督学习的视频内容分析方法及相关装置是由魏豪;黎斯思;王卿云;章岑;杨田设计研发完成，并于2025-01-26向国家知识产权局提交的专利申请。

本一种基于自监督学习的视频内容分析方法及相关装置在说明书摘要公布了：本申请提供一种基于自监督学习的视频内容分析方法及相关装置，涉及软件技术领域，预先以自监督学习的方式训练获得不同模型。对待处理的目标视频进行视频分段得到第一说话人对应的第一视频片段；通过音频检测模型将第一视频片段中的音频转换为第一音频文本，通过字幕检测模型和文本识别模型提取第一视频片段中的第一字幕文本，以及，通过视频编码器提取第一视频片段的视觉向量表示；以第一音频文本和第一字幕文本构建提示词，对提示词进行分词得到第一视频片段的文本向量表示；将文本向量表示与视觉向量表示拼接后送入大语言模型中，以获得大语言模型输出的视频内容分析结果。本申请通过无监督学习提高模型的泛化性，实现不同视频内容分析任务。

本发明授权一种基于自监督学习的视频内容分析方法及相关装置在权利要求书中公布了：1.一种基于自监督学习的视频内容分析方法，其特征在于，所述基于自监督学习的视频内容分析方法包括：获取待处理的目标视频，并对所述目标视频进行视频分段得到第一说话人对应的第一视频片段；通过音频检测模型将所述第一视频片段中的音频转换为第一音频文本，通过字幕检测模型和文本识别模型提取所述第一视频片段中的第一字幕文本，以及，通过视频编码器提取所述第一视频片段的视觉向量表示；其中，所述音频检测模型、所述字幕检测模型、所述文本识别模型和所述视频编码器是预先以自监督学习的方式训练获得的；以所述第一音频文本和所述第一字幕文本构建提示词，通过对所述提示词进行分词得到所述第一视频片段的文本向量表示；将所述文本向量表示与所述视觉向量表示拼接后送入大语言模型中，以获得所述大语言模型输出的视频内容分析结果；预先以自监督学习的方式训练获得所述音频检测模型、所述字幕检测模型、所述文本识别模型和所述视频编码器的过程，包括：通过收集公开视频构建视频数据池；针对所述视频数据池中的每个视频来说，对该视频进行视频分段得到第二说话人对应的第二视频片段；对所述第二视频片段进行音频提取得到第二音频文本，同时，对所述第二视频片段进行OCR识别得到第二字幕边界框以及第二字幕文本；如果所述第二音频文本与所述第二字幕文本匹配，通过多模态大模型提取所述第二视频片段的视频理解文本；将所述第二视频片段、所述第二视频片段中的音频、所述第二音频文本、所述第二字幕边界框、所述第二字幕文本和所述视频理解文本组成伪标签数据集，以实现：利用所述第二视频片段中的音频和所述第二音频文本训练获得所述音频检测模型；利用所述第二视频片段和所述第二字幕边界框训练获得所述字幕检测模型；利用所述第二视频片段和所述第二字幕文本训练获得所述文本识别模型；以固定所述大语言模型权重的方式，利用所述视频理解文本训练获得所述视频编码器。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京搜狐新媒体信息技术有限公司，其通讯地址为：100190 北京市海淀区科学院南路2号院3号楼12层1201；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。