买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

申请日：2024-06-18

公开（公告）日：2024-08-30

公开（公告）号：CN118357083B

专利技术分类：..带有压力容器或压缩容器（喷洒烟雾的容器入B65D83/14）；带有泵的[2006.01]

专利摘要：本发明公开了一种基于用生成式大模型的纹理生成的三维颜料喷涂系统及方法。该系统包括转台，带滑轨的工作平台，机械臂，喷涂泵，RGB‑D相机；以及用户操作平台。该方法包括S1，采集多视角图像数据；S2，对图像进行数据处理再经重建获得待喷涂物体的网格模型；S3，结合网格模型，根据用户要求生成特定数字纹理及其与网格模型的UV映射关系；S4，纹理喷涂路径规划；S5，纹理喷涂。本发明通过将生成式大模型与三维物体重建、路径规划等技术相结合，能够将数字纹理转换为物理纹理，再通过物理世界纹理对模型进行微调修正，实现了虚拟世界和物理世界的交互，以对三维物体的高质量、个性化数字纹理喷涂。

专利权项：1.一种基于生成式大模型纹理生成的三维颜料喷涂方法，其特征在于，包括以下步骤：S1，通过相机采集多视角图像数据；S2，对由相机采集的多视角图像数据进行数据处理以获取三维点云模型及每个点对应物理世界的坐标值，再经三维重建获得待喷涂物体的网格模型；S3，结合网格模型，根据用户要求生成特定数字纹理及其与网格模型的UV映射关系，包括以下子步骤：S31，对输入的网格模型使用随机纹理进行初始化；S32，利用S2中获取的三维重建中相机和待喷涂物体的姿态位置，通过对齐物理世界和数字世界中相机的坐标系，转换物理世界中相机的旋转表示和平移表示，以获取数字世界中各个相机视角下的2D纹理图像及其与网格模型对应部分的UV映射关系；S33，将2D纹理图像输入到稳定扩散模型中，通过扩散模型变分自编码器中的编码器将其转换为带噪声的潜在空间图像；S34，将用户提供的文本描述或图片以及各个视图的深度信息作为条件输入到Unet模型中，用于引导去噪过程；在Unet模型的采样器中，对带噪声的潜在空间图像进行迭代式去噪，并在每次迭代后将生成的各个视图的纹理图像反投影到纹理空间；对于重叠部分的纹理像素值根据各个重叠纹理像素的联合分布进行更新，以确保纹理的一致性；进而得到一组3D一致的潜在图像和潜在纹理映射；S35，通过潜在纹理聚合以及扩散模型变分自编码器中的解码器解码潜在图像，利用潜在图像和潜在纹理映射的映射关系，生成用户定制的特定数字纹理及其与网格模型的UV映射关系；S4，纹理喷涂路径规划，包括以下子步骤：S41，利用S3中获取的特定数字纹理及其与网格模型的UV映射关系将待喷涂物体表面的数字纹理转换为二维图像，再对该二维图像进行轮廓检测和颜色检测，将各颜色按占比从大到小进行顺序排列作为各颜色喷涂的顺序；S42，根据各轮廓的UV映射关系以及虚拟数字模型与物理世界实际模型各点的对应关系，使用最优路径规划算法规划出各轮廓线的喷涂路径，再按照各轮廓块和颜色规划出各颜色块的喷涂顺序；S5，纹理喷涂。

百度查询： 武汉大学 基于生成式大模型纹理生成三维颜料喷涂系统及方法