买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉香港中文大学(深圳)申请的专利基于事件的唇读方法、装置、设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120635994B 。

龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511122198.5，技术领域涉及：G06V40/20；该发明授权基于事件的唇读方法、装置、设备和存储介质是由张雪毅;蔡思祺;李海洲;胡浩琪;廖元设计研发完成，并于2025-08-12向国家知识产权局提交的专利申请。

本基于事件的唇读方法、装置、设备和存储介质在说明书摘要公布了：本申请涉及一种基于事件的唇读方法、装置、设备和存储介质。该方法包括：通过事件相机采集唇部序列图像的原始事件流；从而可以以微秒级时间分辨率异步记录每个像素的亮度变化，实现超低延迟、高动态范围和稀疏数据表示。基于体素的表示方法将原始事件流转换为帧状事件张量，得到体素化的事件体；通过基于事件的唇读模型中的前端网络对体素化的事件体进行空间特征提取，得到多尺度空间特征；通过基于事件的唇读模型中的后端序列模型对多尺度空间特征进行时间依赖性建模，得到序列编码；从而可以融合空间和时间特征，提高序列编码的准确性和稳定性。根据序列编码确定唇读识别的内容。从而可以实现唇部运动的稳定识别，提高唇读准确性。

本发明授权基于事件的唇读方法、装置、设备和存储介质在权利要求书中公布了：1.一种基于事件的唇读方法，其特征在于，所述方法包括： 通过事件相机采集唇部序列图像的原始事件流； 基于体素的表示方法将所述原始事件流转换为帧状事件张量，得到体素化的事件体； 通过基于事件的唇读模型中的前端网络对所述体素化的事件体进行空间特征提取，得到多尺度空间特征；所述前端网络包括：3D卷积层和深度神经网络，通过所述3D卷积层对所述体素化的事件体进行初步的时空特征提取处理，得到初始的时空特征；将所述初始的时空特征依次输入到所述深度神经网络的卷积层和多个残差块，多个所述残差块的输出经过全局平均池化处理后得到高级空间特征图，多个所述残差块的输出经过浅层自适应池化处理后得到多个空间特征图；以多个空间特征图的中间层特征图作为对齐的参考分辨率，将多级特征的空间维度重塑为图构建的节点表示序列；将所述节点表示序列并行输入到频率感知调制模块中进行频率增强处理，得到增强后的特征；所述频率增强处理包括：在第一频带注入噪声，以及采用自适应频率滤波增强第二频带的判别性边缘动态；所述第二频带的下限频率高于第一频带的上限频率；将所述增强后的特征输入到所述深度神经网络的全连接层，得到多级空间节点特征；将所述多级空间节点特征分别输入到空间区域超图中，提取出唇部区域之间的高阶帧内依赖关系；根据唇部区域之间的高阶帧内依赖关系和高级空间特征图，得到多尺度空间特征； 通过基于事件的唇读模型中的后端序列模型对所述多尺度空间特征进行时间依赖性建模，得到序列编码；通过时间语义超图将所述多尺度空间特征转换为时间结构化的特征；通过循环神经网络基于所述时间结构化的特征进行建模，得到序列编码； 根据所述序列编码确定唇读识别的内容；通过目标唇读模型根据所述序列编码确定唇读的内容；其中，所述目标唇读模型采用基于视素的监督策略，所述基于视素的监督策略用于将视觉相似性编码到标签空间；所述基于视素的监督策略，包括：将经过规范化处理的单词标签与音素序列相关联，并按照预设的音素到视素的映射规则，将每个音素序列转换为对应的视素序列；通过编辑距离来量化不同单词的视素序列之间的相似度；其中，任意两个不同单词之间的最小视素编辑距离为1，视素编辑距离越小表示单词在语音上越相似；通过计算成对的视素编辑距离来构建距离矩阵；通过逐行归一化将所述距离矩阵转换为概率分布；根据概率分布建立各个单词的软标签。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人香港中文大学(深圳)，其通讯地址为：518172 广东省深圳市龙岗区龙城街道龙翔大道2001号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。