买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中原工学院

摘要：一种在线监考中的实时多视频流融合系统，包括考生模块、教师模块以及远程服务器端模块，考生模块与教师模块之间采用第三方会议系统进行视频传输，考生模块包括手机客户端和PC机客户端，考生模块的所有设备均配置在同一局域网环境中，PC机客户端通过局域网和公网服务器连接，提供视频流和监控信息，手机客户端通过局域网与PC机客户端连接，采用实时流协议将手机端视频流传输至PC端，PC机客户端将自身摄像头视频流、桌面截屏视频流以及手机客户端传输的视频流进行多视频流合并融合处理，然后输出至虚拟摄像头，并导入到第三方会议系统。本系统可导入多路视频进行监考，且配置、执行相对简单，具结合具体实施方式详细说明。

主权项：1.一种在线监考中的实时多视频流融合系统，包括考生模块、教师模块以及远程服务器端模块，考生模块和教师模块分布于不同的局域网内，其特征在于：考生模块与教师模块之间采用第三方会议系统进行视频传输，考生模块包括手机客户端和PC机客户端，手机为一个或多个，从不同的角度来监控考生的状态信息，考生模块的所有设备均配置在同一局域网环境中，PC机客户端通过局域网和公网服务器连接，提供视频流和监控信息，手机客户端通过局域网与PC机客户端连接，采用实时流协议将手机端视频流传输至PC端，PC机客户端将自身摄像头视频流、桌面截屏视频流以及手机客户端传输的视频流进行多视频流合并融合处理，然后输出至虚拟摄像头，并导入到第三方会议系统；PC机客户端和服务器端通信采用CS架构；所述的多视频流合并融合处理从考生模块的设备中获取多路视频流，由教师端通过指令选择两路视频，采用主副视频流方案，副视频流以画中画的方式与主视频流进行合并，通过帧合并算法将两路视频流逐帧合并为一路视频流；合并后的视频流通过进程间共享内存的方式导入到虚拟摄像头中，虚拟摄像头技术基于OBS-Virtualcam实现，通过使用DirectShow框架创建一个虚拟摄像头设备，并将虚拟设备信息写入操作系统的注册表中；操作系统将其视为与物理摄像头等效的硬件输入源；通过标准接口采集虚拟摄像头的数据，并将其导入视频会议软件以完成数据对接；所述的多视频流合并融合处理，视频采集线程和融合线程的多线程架构，并设计了基于时间戳驱动的自适应调度算法和双Buffer交替同步机制，具体如下：采集线程端：1）采集线程实时解析每帧的解码时间戳；并根据帧内部的时间信息和系统时间基准之间的映射关系，计算当前帧相对系统时间的理论显示时刻；2）比较该显示时刻与当前系统时间,若幅度超过阈值,则线程自适应调整睡眠时间,实现超前帧的捕获阻塞；3）捕获恢复后,计算捕获和显示之间的最大可容忍延迟,作为当前线程的阻塞时间；融合线程端：1）源设备采集模块持续轮询采集,获得原始视频帧写入自身Buffer，写入完成后，触发可读标志位；2）融合线程依次访问可读Buffer，只对可读Buffer实现帧数据复制,写入目标帧；3）复制完成后清除可读标志位,等待下一帧采样周期的写入。融合线程继续响应下一个Buffer信号；当来自不同源设备的视频流存在不同视频格式，将视频流归一化为YUV420格式合并；基于上述视频格式的视频流的合并算法描述如下：设视频流1为F包含N帧，每帧大小为（wF，hF），视频流2为C包含N帧，每帧大小为（wC，hC），视频流2与视频流1的合并区域为ROI，合并后视频流为M，缩放因子为S，设（mw，mh）是ROI在视频流1帧中水平和垂直边缘距离，P是包含水平和垂直位置的元组；对于从0到N-1帧每一帧的合并过程如下：1）计算两个视频融合后的视频参数，采集线程逐帧读取数据源视频流帧，转换成符合视频参数的YUV420格式帧，同时进行必要的延时和互斥操作，确保线程安全及控制读取速度；2）在融合线程中，接受视频流合并参数，根据YUV格式及目标图像分辨率wF×hF，预分配融合帧的内存空间；3）根据公式（1）调整视频流2帧的比例，为了解决因比例调节造成的像素失真问题，采用双线性插值算法进行比例缩放； ；4）根据公式（2）、（3）计算ROI的水平和垂直偏移量，根据公式（4）计算视频流1中的ROI区域，设置ROI区域防止在视频流合并时每一帧重复计算位置增加资源消耗； ；5）将调整后的视频流2帧根据公式（3）合并到视频流1的ROI区域； ；6）将合并后的ROI放回到视频流1的相应位置，得到一个合并帧，整个视频流的合并可以表示为公式6）； ；教师模块采用BS架构，通过远程服务器提供Web服务；远程服务器端模块作为考生PC机客户端的CS服务器及教师端的Web服务器，为两者架设通信桥梁；同时存储考试管理的数据。

全文数据：

权利要求：

百度查询： 中原工学院 一种在线监考中的实时多视频流融合系统