买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院深圳先进技术研究院申请的专利一种基于视听知识蒸馏的位姿和深度图估计方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119600093B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311170447.9，技术领域涉及：G06T7/73；该发明授权一种基于视听知识蒸馏的位姿和深度图估计方法及系统是由刘振飞;宋呈群;程俊设计研发完成，并于2023-09-11向国家知识产权局提交的专利申请。

本一种基于视听知识蒸馏的位姿和深度图估计方法及系统在说明书摘要公布了：本发明公开了一种基于视听知识蒸馏的位姿和深度图估计方法及系统，运用于视听多模态技术领域，其方法包括：获取音频与视频并进行预处理，得到音频帧‑图像对；对所述音频帧的声波信息进行映射；将映射后的声波信息输入卷积层进行特征提取，输出特征图后进行上采样；经过上采样后的特征图通过位姿解码模块和FPN网络分别得到位姿估计与深度图估计；本申请通过成熟视觉网络对音频帧‑图像对中的图像进行预测产生相应的伪标签用于听觉网络的学习。

本发明授权一种基于视听知识蒸馏的位姿和深度图估计方法及系统在权利要求书中公布了：1.一种基于视听知识蒸馏的位姿和深度图估计方法，其特征在于，包括： 获取音频与视频并进行预处理，得到音频帧‑图像对；由音频生成的预测估计需要和由与音频时间对齐的图像帧经过视觉深度网络和位姿网络生成的为标签进行对比，并将对比误差回传进行训练，得到通过输入音频信号而生成对应深度和位姿估计的网络； 对所述音频帧的声波信息进行映射； 将映射后的声波信息输入卷积层进行特征提取，输出特征图后进行上采样； 经过上采样后的特征图通过位姿解码模块和FPN网络分别得到位姿估计与深度图估计； 在对所述音频帧的声波信息进行映射的步骤中，具体包括下述步骤： 所述音频帧的声波信息映射为对应的频率函数、响度函数以及隐编码； 所述频率函数是通过预训练的CREPE模型提取获得；所述响度函数是通过所述音频提取获得；利用A加权的功率谱计算与频率张量对应的幅度衰减权重张量，再以分贝刻度计算权重张量，并在数据集中对音量向量进行归一化，最后提取MFCCs输入至归一化层、512单元的CPU和512单元的线性层得到隐编码； 在将映射后的声波信息输入卷积层进行特征提取，输出特征图后进行上采样的步骤中，具体包括下述步骤： 将映射后的声波信息经过4个4*4卷积后进行融合，并使用过滤器数量为64的1*1卷积，膨胀系数分别为6、12、18的3*3卷积，最后通过一个1*1卷积获得对应音频的特征图； 采用双线性插值方法对所述特征图进行上采样； 在经过上采样后的特征图通过位姿解码模块和FPN网络分别得到位姿估计与深度图估计的步骤中，具体包括下述步骤： 将上采样后的特征图输入位姿解码模块得到位姿估计； 将上采样后的特征图输入FPN网络得到深度图估计； 在将上采样后的特征图输入位姿解码模块得到位姿估计的步骤中，具体包括下述步骤： 将上采样后的特征图输入位姿解码模块作为query，以及通过相邻时刻的音频帧信息编码得到稀疏网格编码并作为key与value； 位姿解码的公式为： 其中为经过t个transformer模块的输出，为增强稀疏性的缩放因子，为code编码，为交叉注意力函数； transformer多头注意力公式为： 分别为当前时间步t下的多头注意矩阵，为网络中间层隐变量，为多层感知机函数，为指数归一化函数； 在transformer模块的最后一层中，利用MLP网络计算空间位置坐标，公式为： 其中为transformer模块的最后一层输出； 最后利用PnP方法，通过空间位置坐标和特征图的映射建立2D‑3D方程，求解获得位姿估计； 在将上采样后的特征图输入FPN网络得到深度图估计的步骤中，具体包括下述步骤： 将所述特征图经过单应变换至目标帧坐标系，单应变换矩阵为： 其中为内参矩阵，为位姿，为相机光心在世界坐标系的坐标表示，为目标帧所在深度； 经过单应变化后的特征图输入至FPN网络，根据尺度信息得到深度图估计。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院深圳先进技术研究院，其通讯地址为：518055 广东省深圳市南山区深圳大学城学苑大道1068号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。