买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州易现先进科技有限公司

摘要：本申请涉及一种基于3D定位信息的AR人像拍照方法和系统，其中，该方法包括：获取3D重建地图，并进行定位，得到相机的位姿和内参；获取带有3D重建场景的人像照片，通过语义深度神经网络对带有3D重建场景的人像照片进行人体语义分割，得到人像语义mask和人像脚部像素位置；通过相机的位姿和内参，将人像脚部的像素向3D空间中投影，投影出的射线和3D模型的交点是人体所在的3D模型点，对3D模型点的深度进行平均，得到人像深度值，并通过比较3D重建场景中虚拟物体深度值和人像深度值，得到两者的相对遮挡关系；对人像语义mask进行腐蚀膨胀和高斯滤波处理，并通过导向滤波将已经确定相对遮挡关系的人像和虚拟物体进行融合，得到融合照片。提高用户体验感。

主权项：1.一种基于3D定位信息的大空间下AR人像拍照方法，其特征在于，所述方法包括：获取3D重建地图，并通过所述3D重建地图中的图像信息和辅助信息进行定位，得到相机的位姿和内参；获取带有3D重建场景的人像照片，通过语义深度神经网络对所述带有3D重建场景的人像照片进行人体语义分割，得到人像语义mask和人像脚部像素位置，其中，所述照片中包括了人像和3D重建场景，所述语义神经网络包括weight分支和prototype分支，通过语义深度神经网络进行人体语义分割具体包括：通过spacetodepth操作对所述照片进行尺寸变换，并将所述照片的空间分辨率转换为通道数之后，通过encode模块多层Block对所述照片分别进行卷积计算，输出得到卷积参数，通过多个decode模块对各层Block输出的卷积参数综合进行计算，由prototype分支输出mask基准，所述weight分支根据block4输出的卷积参数的平均池化结果，对所述prototype网络分支输出的mask基准进行卷积计算，得到最终的人像语义mask，具体的，weight分支将Block4的输出参数进行全局平均池化，并连接一个全连层，输出91个卷积参数，Prototype分支对decode2的输出进行一个核为3的卷积，将其通道从24转成6，然后将weight分支输出的91个卷积参数，排列成3个1X1卷积的参数，得到6个1X1X6的卷积核，并添加6个bias，经过3个1X1卷积后，输出得到一个通道数为1的特征图，即为最终的语义mask；对所述语义深度神经网络的训练，采用的Loss函数如下公式所示：diceloss*0.1+0.8*BinaryFocalLoss+0.1*JaccardLoss通过所述相机位姿和内参，将所述人像脚部的像素向3D空间中投影，投影出的射线和3D模型的交点是人体所在的3D模型点，对所述3D模型点的深度进行平均，得到人像深度值，并通过比较所述3D重建场景中虚拟物体深度值和所述人像深度值，得到所述人像和所述虚拟物体的相对遮挡关系；对所述人像语义mask进行腐蚀膨胀和高斯滤波处理，并通过导向滤波将已经确定相对遮挡关系的所述人像和虚拟物体进行融合，得到融合照片。

全文数据：

权利要求：

百度查询： 杭州易现先进科技有限公司 一种基于3D定位信息的AR人像拍照方法和系统