买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江辰时科技集团有限公司

摘要：本发明涉及一种基于RGB图像的3D房间布局重建系统，包括几何元素检测模块：基于卷积神经网络的主干网络来提取视觉特征；3D重建模块：用于重建3D的房间布局；所述几何元素检测模块包括平面检测模块、线段检测模块和推理模块；所述平面检测模块用于提取图像视觉特征并进行检测，输出检测对象的位置信息；所述线段检测模块用于提取图像视觉特征并进行检测，输出检测对象的位置信息；所述推理模块用于提取平面检测模块、线段检测模块中参数化的检测结果，并进行去除重复检测；所述3D重建模块包括参数预测模块和重建模块；本发明停车检测图像中的平面和交线，判断相邻墙面的空间关系，通过插入虚拟平面解决遮挡问题，实现更加准确的房间布局3D重建。

主权项：1.一种基于RGB图像的3D房间布局重建系统，其特征在于，包括：几何元素检测模块：基于卷积神经网络的主干网络来提取视觉特征；3D重建模块：用于重建3D的房间布局；所述几何元素检测模块包括平面检测模块、线段检测模块和推理模块；所述平面检测模块用于提取图像视觉特征，基于视觉特征利用卷积神经网络对图像中的墙面，天花板和地面进行检测，输出检测对象的位置信息；所述线段检测模块用于提取图像视觉特征，基于视觉特征利用卷积神经网络对图像中墙面与墙面之间的交线进行检测，输出检测对象的位置信息；所述推理模块用于提取平面检测模块、线段检测模块中参数化的检测结果，并进行去除重复检测；所述3D重建模块包括参数预测模块和重建模块；所述参数预测模块用于预测像素级别的平面参数以及实例级别的参数；所述重建模块用于对检测出的平面进行排序，并针对相邻平面创建公共区域，并判断检测出的线段是否位于该区域，根据判断结果重建3D的房间布局；所述重建过程为：将所有检测出来的墙面按照中心的x坐标值进行排序，对于两个相邻的墙面，定义一个公共区域U，表示两个相邻的墙面的交线位于其中,设两个相邻的墙面的矩形框分别为对应的宽和高为wl，hl，wr,hr，则公共区域的定义如下： U＝left,0,right,H；其中ratio＝0.25、band＝10，H、W分别为图像的高和宽；所述重建过程还包括步骤：判断是否有已检测到的直线位于公共区域U中，用α∈{0,1}表示；同时通过两个相邻的墙面的3D参数计算投影的2D交线是否位于该区域中，用β∈{0,1}表示；将上述情况分类：S1、α＝1，β＝1：表示两个平面在3D空间相交，并且交线被检测；S2、α＝0，β＝1：表示两个平面在3D空间相交，但是交线没有被检测；S3、α＝1，β＝0：表示两个平面在3D空间不相交，遮挡交线被检测；S4、α＝0，β＝0：表示误报；针对情况S1，优化3D平面参数，使得预测的3D平面参数和2D线检测保持一致，构建墙面，交线，墙面的三元组集合Ω，以及墙面集合Pc，优化的目标函数如下： 其中λ1，λ2，λ3表示权重参数，lj为交线的参数，采用BFGS算法来优化目标函数；针对情况S3和情况S4，3D平面参数表明两个相邻的墙面在3D空间中不相交，需手动添加一个虚拟平面，使得相邻的墙面相交；在情况S3中，虚拟平面的2D投影和遮挡线重合，而在情况S4中，在公共区域U中间插入一条竖直的遮挡线，新添加的虚拟平面的2D投影与该线重合；虚拟平面满足下面等式：nK-1p1＝0；no+d＝0；其中p1为直线上的两点的齐次坐标；最后将检测的平面和添加的虚拟平面按照x坐标排序，对于相邻的两个墙面，利用优化后的平面参数，计算其与天花板和地面的交点，若天花板和地面不存在，则将图像的上下边界视为天花板和地面，然后将3D交点投影回2D图像平面，形成房间布局分割，计算公式如下：NcP＝D；p2～KP；其中Nc为系数矩阵，D为偏置，P为3D交点坐标，p2为投影的2D图像坐标。

全文数据：

权利要求：

百度查询： 浙江辰时科技集团有限公司 基于RGB图像的3D房间布局重建系统