买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥工业大学申请的专利基于Transformer的3D点云视频流媒体传输的fov视点预测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116229107B 。

龙图腾网通过国家知识产权局官网在2026-01-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310237068.0，技术领域涉及：G06V10/46；该发明授权基于Transformer的3D点云视频流媒体传输的fov视点预测方法是由黎洁;赵志霞;李奇越;曹苏震;赵保林;张传超设计研发完成，并于2023-03-13向国家知识产权局提交的专利申请。

本基于Transformer的3D点云视频流媒体传输的fov视点预测方法在说明书摘要公布了：本发明公开了一种基于Transformer的3D点云视频流媒体传输的fov视点预测方法，包括以下步骤：1、构建基于Transformer的3D点云视频显著性检测模型，并利用显著性检测模型对3D点云视频提取显著性特征；2、构建基于用户fov视点预测的3D点云视频动态性检测模型，并利用动态性检测模型提取用户的fov视点预测特征；3、最后将点云视频的显著性特征和点云视频的动态性特征进行融合，得到最终预测的用户fov视点情况。本发明首次提出基于Transformer的3D点云视频流fov视点预测方法，并将显著性检测与动态性fov视点预测结合起来得到最终预测的fov视点，从而能够实现较高的预测准确率。

本发明授权基于Transformer的3D点云视频流媒体传输的fov视点预测方法在权利要求书中公布了：1.一种基于Transformer的3D点云视频流媒体传输的fov视点预测方法，其特征在于，是按如下步骤进行： 步骤一、视点数据的收集及预处理： 步骤1.1、收集并提取a个用户观看b帧连续的点云视频的a×b个历史fov视点信息其中，表示第a个用户观看第b帧点云视频时的fov视点信息； 步骤1.2、提取所述a×b个历史fov视点信息中用户视角内的b帧点云数据x1，x2，...，xt，...，xb，其中，xt表示a个用户观看第t帧点云视频时的fov视点信息的点云数据，t∈1，b； 步骤二、构建基于Transformer的3D点云视频流媒体传输的视点预测模型，包括：基于Transformer的3D点云视频显著性检测模型，基于fov视点预测的3D点云视频动态性检测模型，显著性特征与动态性特征融合模块以及解码网络： 步骤2.1、所述基于Transformer的3D点云视频显著性检测模型，包括：基于Transformer的空间特征提取模块MTRS和基于Transformer的时间特征提取模块MTRT； 其中，所述空间特征提取模块MTRS包括：单帧点嵌入模块MPE和单帧Transformer空间特征提取模块MTFBS；所述时间特征提取模块MTRT包括：多帧点嵌入模块MPED、多帧Transformer空间特征提取模块MTFBDS和多帧Transformer时间特征提取模块MTFBDT； 所述空间特征提取模块MTRS以第t帧的3D点云数据xt作为输入，并经过所述单帧点嵌入模块MPE的点云核心点卷积处理，以聚合所述第t帧的3D点云数据xt的局部几何和上下文信息，从而得到第t帧聚合后的局部邻域特征Ft； 所述聚合后的局部邻域特征Ft输入所述单帧Transformer空间特征提取模块MTFBS中进行特征提取后，得到第t帧的空间尺度特征 所述时间特征提取模块MTRT以第t-τ帧到第t-1帧的连续多帧3D点云数据xt-τ，...，xt-2，xt-1作为输入，并经过所述多帧点嵌入模块MPED的点云核心点卷积处理，以聚合连续多帧3D点云数据xt-τ，...，xt-2，xt-1的局部几何和上下文信息，从而得到第t-τ帧到第t-1帧聚合后的局部邻域特征Ft-τ，...，Ft-2，Ft-1； 第t-τ帧到第t-1帧聚合后的连续多帧局部邻域特征Ft-τ，...，Ft-2，Ft-1输入所述多帧Transformer空间特征提取模块MTFBDS中进行特征提取后，得到第t-τ帧到第t-1帧的空间尺度特征 所述第t-τ帧到第t-1帧空间尺度特征和第t帧的空间尺度特征共同输入所述多帧Transformer时间特征提取模块MTFBDT中进行处理，得到第t帧的时间尺度特征 步骤2.2、按通道串联第t帧的空间尺度特征和第t帧的时间尺度特征得到第t帧的时空特征所述时空特征即为3D点云视频中第t帧的3D点云数据xt的显著性特征； 步骤2.3、所述基于fov视点预测的3D点云视频动态性检测模型，包括：LSTM模块、fov视点嵌入模块MPEF和Transformer视点特征提取模块MTFBF； 所述3D点云视频动态性检测模型以所述历史fov视点信息作为输入，并经过所述LSTM模块的视点预测后，得到a个用户观看b帧点云视频时的a×b个fov视点预测信息其中，表示第a个用户观看第b帧点云视频时的fov视点预测信息； 从所述a×b个fov视点预测信息中随机选取第m个用户观看第t帧点云视频时的fov视点信息进而提取所述fov视点信息的点云数据x′m，t，其中，m∈1，a； 所述点云数据x′m，t输入所述fov视点嵌入模块MPEF中进行点云核心点卷积，以聚合所述点云数据x′m，t的局部几何和上下文信息，从而得到x′m，t聚合后的局部邻域特征Fm，t； 将聚合后的局部邻域特征Fm，t输入所述Transformer视点特征提取模块MTFBF中进行特征提取，得到第m个用户观看第t帧点云视频时的视点预测点云特征并作为第m个用户观看第t帧点云视频时的动态性特征； 步骤2.4、所述第t帧点云视频的显著性特征和第m个用户第t帧点云视频的动态性特征输入所述显著性特征与动态性特征融合模型中进行融合处理后，得到第m个用户第t帧的总特征F′m，t； 步骤2.5、所述解码网络以第m个用户第t帧的总特征F′m，t为输入，经过所述解码网络后得到最终预测的第m个用户第t帧所看的fov视点画面； 步骤三、模型训练： 基于b帧点云数据x1，x2，...，xt，...，xb，利用梯度下降法对所述基于Transformer的3D点云视频流媒体传输的fov视点预测模型中进行训练，并采用DIouloss作为损失函数以鞥下模型的参数，当训练迭代次数达到设定的次数或所述损失函数趋于稳定值时，训练停止，从而得到最优的fov视点预测模型，用于对用户的fov视点进行预测。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥工业大学，其通讯地址为：230009 安徽省合肥市包河区屯溪路193号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。