深圳市玥芯通科技有限公司杨波获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉深圳市玥芯通科技有限公司申请的专利电视盒子智能交互控制单元图像处理方法及设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119450126B 。
龙图腾网通过国家知识产权局官网在2026-01-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510032554.8,技术领域涉及:H04N21/41;该发明授权电视盒子智能交互控制单元图像处理方法及设备是由杨波;姜赛;毛飞;况君禄;石常和设计研发完成,并于2025-01-09向国家知识产权局提交的专利申请。
本电视盒子智能交互控制单元图像处理方法及设备在说明书摘要公布了:本发明涉及一种电视盒子智能交互控制单元图像处理方法及设备。该方法:对电视盒子的输入视频流进行特征分析,得到增强后的视频流;基于智能交互控制单元采集用户的视觉和语音交互信息,并输入双分支Transformer模型进行多模态信息融合,得到融合特征向量;进行联合分析,得到用户交互意图和交互响应策略;进行局部对比度增强和运动补偿,得到高质量视频帧序列;根据实时获取的环境光线信息和预存的显示设备色彩特性对高质量视频帧序列进行场景自适应色彩空间映射和动态色温调节,得到输出视频流。本发明的实施能充分利用有限的计算资源,实现高效的视频处理和自然的人机交互,同时根据环境变化动态优化显示效果。
本发明授权电视盒子智能交互控制单元图像处理方法及设备在权利要求书中公布了:1.一种电视盒子智能交互控制单元图像处理方法,其特征在于,包括以下步骤: 对电视盒子的输入视频流进行特征分析,得到视频特征数据结构;具体包括:对电视盒子的输入视频流进行帧级分割,得到视频帧序列,并对所述视频帧序列中的每一帧进行空间域分析,得到包括分辨率、色彩空间、亮度分布、对比度和饱和度的空间特征参数;对所述视频帧序列中相邻帧进行差分运算,得到帧间差异图,并基于所述帧间差异图计算运动矢量,得到运动特征参数;对所述视频帧序列进行二维离散傅里叶变换,得到频率域特征参数,并将所述空间特征参数、所述运动特征参数和所述频率域特征参数组合,构建多维特征向量;对所述多维特征向量进行自适应主成分分析,得到降维后的特征向量,并提取所述降维后的特征向量对应的高级语义特征;对所述高级语义特征、所述空间特征参数、所述运动特征参数和所述频率域特征参数进行注意力机制的加权融合,得到视频特征数据结构; 根据所述视频特征数据结构对所述输入视频流进行重叠图像块划分、独立处理和加权重组,得到增强后的视频流;具体包括:根据所述视频特征数据结构中的分辨率参数,对所述输入视频流中的每一帧进行网格划分,得到N×M个基本图像块,并对所述N×M个基本图像块进行50%重叠扩展,得到2N-1×2M-1个重叠图像块,每个重叠图像块的大小为原基本图像块的2倍;根据所述视频特征数据结构中的亮度分布参数,对每个重叠图像块进行自适应直方图均衡化,得到亮度均衡后的重叠图像块;基于所述视频特征数据结构中的频率域特征参数,对所述亮度均衡后的重叠图像块进行小波变换,提取多尺度特征,并对高频子带进行软阈值去噪,得到去噪后的重叠图像块;根据所述视频特征数据结构中的运动特征参数,对所述去噪后的重叠图像块进行运动补偿,通过块匹配算法计算运动矢量,并进行亚像素级插值,得到运动补偿后的重叠图像块;基于所述视频特征数据结构中的对比度参数,对所述运动补偿后的重叠图像块应用局部对比度增强算法,通过自适应gamma校正调整像素强度,得到对比度增强后的重叠图像块;对所述对比度增强后的重叠图像块进行加权,得到加权后的重叠图像块,并将所述加权后的重叠图像块按照原始位置进行重叠区域的像素级加权平均,重建完整的视频帧,将重建后的视频帧序列组合,得到增强后的视频流; 基于智能交互控制单元采集用户的视觉和语音交互信息,并将所述视觉和语音交互信息输入双分支Transformer模型进行多模态信息融合,得到融合特征向量;具体包括:基于智能交互控制单元对采集的用户视觉信息进行预处理,得到视觉输入序列,并对采集的用户语音信息进行预处理,得到语音输入序列;将所述视觉输入序列输入双分支Transformer模型中的视觉分支Transformer编码器,所述视觉分支Transformer编码器包含6个编码层,每个编码层包括多头自注意力子层和前馈神经网络子层,通过计算得到视觉特征表示;将所述语音输入序列输入双分支Transformer模型中的语音分支Transformer编码器,所述语音分支Transformer编码器包含6个编码层,每个编码层的结构与视觉分支相同,通过计算得到语音特征表示;对所述视觉特征表示和所述语音特征表示进行位置编码,将位置信息注入特征表示中,得到增强的视觉特征表示和增强的语音特征表示;将所述增强的视觉特征表示和所述增强的语音特征表示输入交叉注意力层,通过计算模态间的注意力权重,实现视觉和语音信息的交互,得到初步融合特征;将所述初步融合特征输入双分支Transformer模型中的融合Transformer编码器,所述融合Transformer编码器包含4个编码层,每个编码层包括多头自注意力子层、交叉注意力子层和前馈神经网络子层,通过计算得到深度融合特征;对所述深度融合特征进行全局平均池化操作,将序列特征压缩为固定维度的向量表示,得到融合特征向量; 对所述融合特征向量和所述增强后的视频流进行联合分析,得到用户交互意图和交互响应策略;具体包括:对所述增强后的视频流进行时空特征提取,得到视频时空特征图,并将所述融合特征向量进行维度扩展,通过复制和拼接操作将所述融合特征向量扩展为与所述视频时空特征图相同的时空维度,得到扩展融合特征图;对所述视频时空特征图和所述扩展融合特征图进行特征融合,通过逐元素相加操作得到联合特征图,并基于所述联合特征图,计算空间注意力权重和通道注意力权重,得到注意力增强的联合特征图;对所述注意力增强的联合特征图进行时序建模,得到时序编码特征,并将所述时序编码特征输入多任务学习头,包括意图分类分支和响应生成分支,通过全连接层和softmax函数得到用户交互意图概率分布;基于所述用户交互意图概率分布,通过阈值判断确定用户交互意图,并根据预定义的意图-响应映射表选择相应的交互响应策略模板;将所述时序编码特征和所述交互响应策略模板输入策略细化网络,生成具体的交互响应策略参数,得到交互响应策略; 基于所述用户交互意图和所述交互响应策略,对所述增强后的视频流进行局部对比度增强和运动补偿,得到高质量视频帧序列;具体包括:根据所述用户交互意图,从预设的意图-处理参数映射表中提取对应的局部对比度增强参数和运动补偿参数;对所述增强后的视频流进行帧级分割,得到视频帧序列,并基于所述局部对比度增强参数对每帧图像进行自适应分块,得到图像块集合;对所述图像块集合中的每个图像块计算局部统计特征,并根据所述局部统计特征和所述局部对比度增强参数,构建自适应S型曲线映射函数;将所述自适应S型曲线映射函数应用于对应的图像块,得到局部对比度增强后的图像块,并将相邻图像块的重叠区域进行平滑过渡,得到对比度增强后的视频帧序列;基于所述运动补偿参数,对所述对比度增强后的视频帧序列中的相邻帧进行块匹配运动估计,得到运动矢量场,并根据所述运动矢量场,对所述对比度增强后的视频帧序列进行运动补偿插值,生成帧率提升后的视频序列;对所述帧率提升后的视频序列应用时域滤波器,得到平滑的高帧率视频序列,并根据所述交互响应策略中的视频增强级别,对所述平滑的高帧率视频序列进行全局亮度和饱和度调整,得到高质量视频帧序列; 根据实时获取的环境光线信息和预存的显示设备色彩特性对所述高质量视频帧序列进行场景自适应色彩空间映射和动态色温调节,得到输出视频流;具体包括:对所述高质量视频帧序列进行色彩空间转换,将RGB色彩空间转换为HSV色彩空间,得到色相H、饱和度S和明度V分量;基于环境光线传感器实时采集环境光线信息,包括环境光强度和色温,并根据预设的环境光线阈值将当前环境分类为明亮、适中或昏暗场景,得到环境场景类型;根据所述环境场景类型和预存的显示设备色彩特性,从预设的场景-色彩映射表中选择对应的色彩增强系数α、β和γ;对所述明度V分量进行非线性调整,并使用公式V'=Vγ进行Gamma校正,得到调整后的明度分量V';基于所述色彩增强系数α和β,对所述饱和度S分量进行线性调整,使用公式S'=α*S+β,得到调整后的饱和度分量S';根据环境色温信息,计算色相偏移量ΔH,并对所述色相H分量进行调整,使用公式H'=H+ΔH,得到调整后的色相分量H';将所述调整后的色相分量H'、饱和度分量S'和明度分量V'组合,并进行HSV到RGB的色彩空间反变换,得到色彩增强的视频帧;对所述色彩增强的视频帧应用Floyd-Steinberg抖动算法,将色彩深度调整为显示设备支持的位深度,得到输出视频帧序列,并将所述输出视频帧序列编码为H.264格式的视频流,设置网络传输的比特率和关键帧间隔,得到输出视频流。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳市玥芯通科技有限公司,其通讯地址为:518000 广东省深圳市龙华区大浪街道陶元社区南科创元谷2栋201;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励