买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜西安电子科技大学广州研究院;广州通则康威科技股份有限公司申请的专利基于语义流的实时高保真视频传输的多模态方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119728994B 。

龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510213570.7，技术领域涉及：H04N19/37；该发明授权基于语义流的实时高保真视频传输的多模态方法是由牛冠冲;孙嘉一;李晓辉;杨清海;施永鑫;颜斌;黄振江设计研发完成，并于2025-02-26向国家知识产权局提交的专利申请。

本基于语义流的实时高保真视频传输的多模态方法在说明书摘要公布了：本发明实施例涉及视频传输技术领域，具体公开了基于语义流的实时高保真视频传输的多模态方法。本发明实施例通过接收多帧视频序列，通过时空压缩器提取空间和时间相关性，输出潜在表示；通过语义翻译器，将潜在表示映射到语义空间，逐步转化视觉特征和文本特征；通过预设的Transformer融合模型，将潜在表示和文本特征进行多模态融合，输出融合表示；通过预设的码本模型，将融合表示量化为量化表示；通过视频控制网，对量化表示和文本特征进行处理，生成重构视频序列。能够显著提高压缩效率，且实现对关键语义信息的优先级传输，从而在带宽受限条件下保持高效压缩和感知相关性，并能够确保视频内容语义一致性和时间连贯性。

本发明授权基于语义流的实时高保真视频传输的多模态方法在权利要求书中公布了：1.基于语义流的实时高保真视频传输的多模态方法，其特征在于，所述方法具体包括以下步骤：接收多帧视频序列，通过时空压缩器提取空间和时间相关性，输出潜在表示；通过语义翻译器，将所述潜在表示映射到语义空间，逐步转化视觉特征和文本特征；通过预设的Transformer融合模型，将所述潜在表示和所述文本特征进行多模态融合，输出融合表示；通过预设的码本模型，将所述融合表示量化为量化表示；通过视频控制网，对所述量化表示和所述文本特征进行处理，生成重构视频序列；所述多帧视频序列的表达式为： ；其中，为多帧视频序列，表示帧数；所述潜在表示的表达式为： ；其中，为潜在表示，为时空压缩器的参数；所述视觉特征的表达式为： ；其中，为视觉特征，为语义翻译器的第一参数；所述文本特征的表达式为： ；其中，为文本特征，为语义翻译器的第二参数；所述融合表示的表达式为： ；其中，为融合表示，为Transformer融合模型的参数；所述量化表示的表达式为： ；其中，为量化表示，为码本参数；所述重构视频序列的表达式为： ；其中，表示重构视频序列，为视频控制网的参数；所述通过语义翻译器，将所述潜在表示映射到语义空间，逐步转化视觉特征和文本特征具体包括以下步骤：通过视觉编码器，从所述潜在表示中提取高级语义特征，生成视觉特征映射；通过跨注意层，动态地将所述视觉特征映射与从预设的大型语言模型中得到的预训练语言嵌入关联，建立视觉元素与语言对应物之间的对应关系，并计算对齐权重，得到高度对齐特征集；通过使用文本解码器，基于所述高度对齐特征集，微调捕获特定于视频的语义，生成文本特征；所述视觉特征映射的表达式为： ；其中，为视觉特征映射，为视觉编码器的参数；所述高度对齐特征集的表达式为： ；其中，代表高度对齐特征集，为预训练语言嵌入，为跨注意层的参数；所述文本特征的表达式为： ；其中，为文本解码器的参数；所述通过视频控制网，对所述量化表示和所述文本特征进行处理，生成重构视频序列具体包括以下步骤：通过预设的去噪扩散概率模型，对所述量化表示和所述文本特征进行去噪处理，获取去噪表示；利用跨注意层，采用预设的语义对齐控制机制，在每个时间步动态地将所述量化表示和所述文本特征进行对齐，获取对齐表达；通过上采样模块，应用卷积和超分辨率技术，细化空间细节并产生高分辨率帧，生成重构视频序列；所述去噪表示的表达式为： ；其中，为去噪表示，表示当前时间步长，为去噪扩散概率模型的参数；所述对齐表达的表达式为： ；其中，为对齐表达，为跨注意层的参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学广州研究院;广州通则康威科技股份有限公司，其通讯地址为：510555 广东省广州市黄埔区中新知识城海丝中心B5、B6、B7栋；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。