买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉海看网络科技(山东)股份有限公司申请的专利一种基于多模态大模型的直播视频流分析方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120475195B 。

龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510971575.6，技术领域涉及：H04N21/234；该发明授权一种基于多模态大模型的直播视频流分析方法及系统是由任志超;隆龙;陈清雷;许强;王志发;王光永设计研发完成，并于2025-07-15向国家知识产权局提交的专利申请。

本一种基于多模态大模型的直播视频流分析方法及系统在说明书摘要公布了：本发明公开了一种基于多模态大模型的直播视频流分析方法及系统，主要涉及多模态的图片分析技术领域。包括：启动流媒体服务器、ASR服务以及多模态模型服务；在所述流媒体服务器中创建房间，通过直播客户端将直播的视频流推送到所述房间；利用Python脚本连接至所述流媒体服务器的房间；所述音频监听线程对监听到的音频帧进行降噪和人声检测；将拼接后的文本及图片数组通过HTTP请求发送至所述多模态模型服务进行分析，获取分析结果并返回给用户。本发明的有益效果在于：它解决了直播视频流中音频流分析及视频流分析关联性低的问题。

本发明授权一种基于多模态大模型的直播视频流分析方法及系统在权利要求书中公布了：1.一种基于多模态大模型的直播视频流分析方法，其特征在于，包括以下步骤： 启动流媒体服务器、ASR服务以及多模态模型服务； 在所述流媒体服务器中创建房间，通过直播客户端将直播的视频流推送到所述房间； 利用Python脚本连接至所述流媒体服务器的房间，并初始化音频监听线程、视频监听线程、ASR处理线程及房间管理线程，其中所述房间管理线程为所述房间设置视频流标志位，初始值为False； 所述音频监听线程对监听到的音频帧进行降噪和人声检测，过滤无声音帧，检测到人声时将所述视频流标志位设为True，若连续3秒未检测到人声则将所述视频流标志位重置为False；同时将降噪后的音频帧传入所述ASR服务，所述ASR处理线程接收ASR服务返回的文本并拼接； 所述视频监听线程在所述视频流标志位为True时，截取视频帧并保存为图片数组，标志位为False时过滤视频帧； 将拼接后的文本及图片数组通过HTTP请求发送至所述多模态模型服务进行分析，获取分析结果并返回给用户； 所述音频监听线程对音频帧进行降噪处理的步骤包括：对音频帧进行短时傅里叶变换，估计噪声功率谱，通过谱减法进行幅度谱估计，逆短时傅里叶变换重建语音信号； 所述音频监听线程通过深度神经网络对降噪后的音频帧进行人声检测，输出语音活动概率，通过阈值判断是否存在人声。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人海看网络科技(山东)股份有限公司，其通讯地址为：250000 山东省济南市历下区经十路18567号新广电中心大楼六楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。