买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：腾讯数码(天津)有限公司

摘要：本发明揭示了一种个性化场景图像的处理方法及装置、电子设备、计算机可读存储介质，所述方法包括：根据在终端设备屏幕区域内触发的触控事件，获取屏幕区域内的触控事件轨迹；根据触控事件轨迹在空间坐标系中的投射，生成虚拟模型；按照终端设备在空间坐标系中的位姿，重构虚拟模型在终端设备视场范围内映射的模型视图；将模型视图与终端设备在位姿下采集的场景图像进行叠加，获得个性化场景图像。本发明提供的技术方案，虚拟模型不再是预先配置好的，可以根据用户自定义绘制的图形，形成自定义的虚拟模型，从而节省了下载虚拟模型的流量以及存储虚拟模型的空间，降低了设计虚拟模型的人力成本，丰富了虚拟模型的种类。

主权项：1.一种个性化场景图像的处理方法，其特征在于，包括；根据在终端设备屏幕区域内触发的触控事件，获取所述屏幕区域内的触控事件轨迹，所述触控事件轨迹是基于所述触控事件触发位置的变化形成的；根据所述触控事件轨迹在空间坐标系中的投射，生成虚拟模型，所述虚拟模型是根据所述触控事件轨迹在空间坐标系中的投射结果得到的三维立体图形；根据所述终端设备在空间坐标系中的位姿，重构所述终端设备在所述空间坐标系中的视场范围；将处于所述视场范围内的虚拟模型映射到所述终端设备的显示区域，得到模型视图；将所述模型视图与所述终端设备在所述位姿下采集的场景图像进行叠加，获得个性化场景图像。

全文数据：个性化场景图像的处理方法及装置技术领域本发明涉及图像处理技术领域，特别涉及一种个性化场景图像的处理方法及装置、电子设备、计算机可读存储介质。背景技术增强现实AugmentedReality，简称AR是近年来国外众多知名大学和研究机构的研究热点之一。AR技术是近年来发展起来的新兴技术，是一种实时计算摄影机影像的位置以及角度并加上相应图像、视频、3D模型的技术，其核心是将虚拟内容和真实存在的内容进行实时融合，形成虚拟、现实之间的互动，从而创造出全新的体验。目前可以采集短视频的软件APP应用程序，多数基于ARkit增强现实工具的能力，以动漫、宠物等为原型进行复杂的3D建模，将虚拟模型投射在真实空间的某一平面上，如桌面、地面等，将拍摄的现实场景与空间中投射的虚拟模型进行融合，形成个性化视频。很显然，现有技术中虚拟模型均是预先配置好的，用户只能在预先配置的虚拟模型中进行选择，由此可供用户选择的虚拟模型种类有限。如果增加配置的虚拟模型种类，则会增大软件APP的占用空间，以及下载软件APP的流量成本，更加增加了虚拟模型设计的人力成本。发明内容为了解决相关技术中存在的软件APP占用空间较大，下载流量成本高的问题，本发明提供了一种个性化场景图像的处理方法。一方面，本发明提供了一种个性化场景图像的处理方法，包括：根据在终端设备屏幕区域内触发的触控事件，获取所述屏幕区域内的触控事件轨迹；根据所述触控事件轨迹在空间坐标系中的投射，生成虚拟模型；按照所述终端设备在空间坐标系中的位姿，重构所述虚拟模型在所述终端设备视场范围内映射的模型视图；将所述模型视图与所述终端设备在所述位姿下采集的场景图像进行叠加，获得个性化场景图像。另一方面，本发明提供了一种个性化场景图像的处理装置，所述装置包括：轨迹获取模块，用于根据在终端设备屏幕区域内触发的触控事件，获取所述屏幕区域内的触控事件轨迹；模型构建模块，用于根据所述触控事件轨迹在空间坐标系中的投射，生成虚拟模型；视图重构模块，用于按照所述终端设备在空间坐标系中的位姿，重构所述虚拟模型在所述终端设备视场范围内映射的模型视图；场景叠加模块，用于将所述模型视图与所述终端设备在所述位姿下采集的场景图像进行叠加，获得个性化场景图像。进一步的，本发明还提供了一种电子设备，所述电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述个性化场景图像的处理方法。进一步的，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成上述个性化场景图像的处理方法。本发明的实施例提供的技术方案可以包括以下有益效果：本发明提供的技术方案，根据触发的触控事件轨迹，将触控事件轨迹投射到空间坐标系中构建虚拟模型，进而在终端设备移动过程中，按照终端设备实时的位姿，可以将该位姿下捕捉的模型视图和场景图像进行叠加，形成个性化场景图像。由此，本发明虚拟模型不再是预先配置好的，可以根据用户自定义绘制的图形，形成自定义的虚拟模型，从而节省了下载虚拟模型的流量以及存储虚拟模型的空间，降低了设计虚拟模型的人力成本，丰富了虚拟模型的种类。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。图1是根据本发明所涉及的实施环境的示意图；图2是根据一示例性实施例示出的一种装置的框图；图3是根据一示例性实施例示出的一种个性化场景图像的处理方法的流程图；图4是现有技术对3D模型进行显示的效果图；图5是在图3对应实施例的基础上示出的一种个性化场景图像的处理方法的流程图；图6是三种轨迹素材样式的显示效果示意图；图7是图3对应实施例中步骤310的细节流程图；图8是本发明示例性实施例示出的显示界面切换的效果示意图；图9是本发明示例性实施例示出的进行画笔切换的显示效果图。图10是图3对应实施例中步骤330的细节流程图；图11是图3对应实施例中步骤350的细节流程图；图12是ARKit框架的架构示意图；图13是基于ARkit框架实现本发明的流程示意图；图14是根据一示例性实施例示出的一种个性化场景图像的处理装置的框图；图15是图14对应实施例中轨迹获取模块的细节框图；图16是图14对应实施例中模型构建模块的细节框图；图17是图14对应实施例中视图重构模块的细节框图。具体实施方式这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。图1是根据本发明所涉及的实施环境的示意图。该实施环境包括：带有摄像头111的终端设备110，终端设备110中安装有软件客户端112，终端设备110通过运行该软件客户端112，从而可以采用本发明提供的个性化场景图像的处理方法，调用摄像头采集场景图像并在场景图像上叠加自定义的虚拟模型。图2是根据一示例性实施例示出的一种装置200的框图。例如，装置200可以是图1所示实施环境中的终端设备110。终端设备110可以是移动终端如智能手机、平板电脑等；终端设备110还可以是智能家居设备，如智能摄像头等。参照图2，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，传感器组件214以及通信组件216。处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件202可以包括一个或多个处理器218来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器StaticRandomAccessMemory，简称SRAM，电可擦除可编程只读存储器ElectricallyErasableProgrammableRead-OnlyMemory，简称EEPROM，可擦除可编程只读存储器ErasableProgrammableReadOnlyMemory，简称EPROM，可编程只读存储器ProgrammableRed-OnlyMemory，简称PROM，只读存储器Read-OnlyMemory，简称ROM，磁存储器，快闪存储器，磁盘或光盘。存储器204中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器218执行，以完成下述图3、图7、图10、图11任一所示方法中的全部或者部分步骤。电源组件206为装置200的各种组件提供电力。电源组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器LiquidCrystalDisplay，简称LCD和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器OrganicLightEmittingDisplay，简称OLED。音频组件210被配置为输出和或输入音频信号。例如，音频组件210包括一个麦克风Microphone，简称MIC，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开关闭状态，组件的相对定位，传感器组件214还可以检测装置200或装置200一个组件的位置改变以及装置200的温度变化。在一些实施例中，该传感器组件214还可以包括磁传感器，压力传感器或温度传感器。通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFiWIreless-Fidelity，无线保真。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信NearFieldCommunication，简称NFC模块，以促进短程通信。例如，在NFC模块可基于射频识别RadioFrequencyIdentification，简称RFID技术，红外数据协会InfraredDataAssociation，简称IrDA技术，超宽带UltraWideband，简称UWB技术，蓝牙技术和其他技术来实现。在示例性实施例中，装置200可以被一个或多个应用专用集成电路ApplicationSpecificIntegratedCircuit，简称ASIC、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。图3是根据一示例性实施例示出的一种个性化场景图像的处理方法的流程图。该种个性化场景图像的处理方法可以由图1所示实施环境中的终端设备110执行，也可以理解为是由终端设备110所运行的软件客户端112执行，例如，短视频类软件APP。在下述方法实施例中，为了便于描述，以各步骤的执行主体为软件客户端112加以说明，但对此不构成限定。如图3所示，该方法可以由软件客户端112执行，可以包括以下步骤。在步骤310中，根据在终端设备屏幕区域内触发的触控事件，获取所述屏幕区域内的触控事件轨迹。其中，终端设备可以是具有图像采集功能的移动终端，如智能手机或平板电脑，还可以是其他具有图像采集功能的智能设备，如智能摄像头。屏幕区域是指在终端设备的显示界面中，可以通过触控绘制图案的区域。用户可以在终端设备的屏幕区域内通过手指或触控笔绘制图案。触控事件是指用户在屏幕区域内通过手指或触控笔接触屏幕产生的事件。触控事件轨迹是手指或触控笔在屏幕区域内触控的轨迹，包含触控事件的触发位置。软件客户端接收终端设备屏幕区域内触发的触控事件，随着触控事件触发位置的连续变化形成触控事件轨迹。在步骤330中，根据所述触控事件轨迹在空间坐标系中的投射，生成虚拟模型。其中，空间坐标系是一种绝对坐标系，可以是世界坐标系以空间中一点为原点，所有物体在空间坐标系中具有相应的位置坐标，由此终端设备在空间坐标系中也有对应的位置坐标。其中，触控事件轨迹的投射是指依据世界坐标系、相机坐标系、图像坐标系以及像素坐标系之间的转换规则，将终端设备显示界面中像素点位置u，v转换成空间坐标系中对应位置x，y，z为预设常数。即将显示界面中屏幕区域内触控事件触发的像素点位置映射得到空间坐标系中的位置点，由此触控事件轨迹可以在空间坐标系中映射得到一个或多个位置点。生成虚拟模型是指在空间坐标系中映射得到的位置点处形成三维立体图形。在步骤350中，按照所述终端设备在空间坐标系中的位姿，重构所述虚拟模型在所述终端设备视场范围内映射的模型视图。需要说明的是，终端设备自带陀螺仪、加速度传感器，可以实时采集终端设备的位姿变化。位姿包括终端设备的朝向以及在空间坐标系中的位置。终端设备根据自身在空间坐标系中实时的位置和朝向，依据世界坐标系、相机坐标系、图像坐标系以及像素坐标系之间的转换规则，将空间坐标系即世界坐标系中虚拟模型的位置点映射得到在终端设备显示界面中的像素点位置。将虚拟模型在终端设备映射的像素点位置填充对应像素值，得到模型视图。需要解释的是，模型视图可以看成是终端设备在当前位姿下，通过自身配置的摄像头对虚拟模型进行图像采集所获得的画面，其中除虚拟模型以外的区域可以看成是透明的。在步骤370中，将模型视图与终端设备在位姿下采集的场景图像进行叠加，获得个性化场景图像。其中，场景图像是指终端设备自身配置的摄像头采集的真实世界的图像。终端设备在移动过程中，将当前位姿下重构的模型视图与当前位姿下摄像头采集的场景图像进行叠加。叠加方式可以是以场景图像为背景，将模型视图覆盖在场景图像之上，由此虚拟模型可以看成是固定在现实世界中的一个物体，在对现实世界进行图像采集时，同时捕捉到了构建的虚拟模型。个性化场景图像是指在真实采集的场景图像上叠加了模型视图。需要说明的是，现有技术中，虚拟模型是事先配置好存储在终端设备中的，下载和存储大量的虚拟模型，占用较大的空间和下载流量；并且大量虚拟模型的构建需要较多的人力成本；进一步的，可供用户选择的虚拟模型种类有限，由此不能满足所有用户的需求。如图4所示，现有技术以动漫、宠物为原型进行3D建模，一个复杂物体的3D模型构建需要大量的人力物力，且模型较为单一，在用户使用过程中，互动性较差。本发明上述示例性实施例提供的技术方案，根据触发的触控事件轨迹，将触控事件轨迹投射到空间坐标系中构建虚拟模型，进而在终端设备移动过程中，按照终端设备实时的位姿，可以将该位姿下捕捉的模型视图和场景图像进行叠加，形成个性化场景图像。由此，本发明虚拟模型不再是预先配置好的，可以根据用户自定义绘制的图形，形成自定义虚拟模型，从而节省了下载虚拟模型的流量以及存储虚拟模型的空间，降低了设计虚拟模型的人力成本，丰富了虚拟模型的种类。在一种示例性实施例中，如图5所示，在上述步骤310之前，本发明提供的个性化场景图像的处理方法还包括以下步骤：在步骤301中，根据接收到的轨迹绘制请求，展示多种轨迹素材样式；具体的，软件客户端在终端设备显示界面中展示虚拟模型绘制按钮，接收用户触发虚拟模型绘制按钮的轨迹绘制请求，进而响应用户触发进行的虚拟模型绘制请求，获取待选择的多种轨迹素材样式，将每种轨迹素材样式所对应的图标进行展示。其中，轨迹素材样式用于指示用户通过触控所绘制虚拟模型的画笔样式。在步骤302中，根据对多种轨迹素材样式触发进行的选择，获得目标轨迹样式；虚拟模型按照目标轨迹样式进行配置。用户可以从展示的多种轨迹素材样式中触发选择其中一种样式。其中，目标轨迹样式是指多种轨迹素材样式中用户选择的样式。软件客户端在展示多种轨迹素材样式的图标后，接收用户点击其中一张图标的触发指令。软件客户端根据触发指令指示的用户对多种轨迹素材样式触发进行的选择，获得用户所选择的目标轨迹样式。进而后续虚拟模型可以按照目标轨迹样式所配置的画笔样式生成。如图6所示，是三种轨迹素材样式的效果示意图。在一种示例性实施例中，如图7所示，上述步骤310具体包括：在步骤311中，启动终端设备的图像采集装置，采集当前场景图像；具体的，图像采集装置是指终端设备自身配置的相机。当前场景图像是指当前时刻终端设备的相机采集的真实场景的图像。软件客户端在接收到用户触发选择目标轨迹样式的触发指令后，调用终端设备的相机采集真实场景的图像。在步骤312中，接收所述当前场景图像显示界面内触发的触控事件，记录所述触控事件的触发位置，所述触控事件的触发位置构成所述触控事件轨迹。软件客户端在终端设备的显示界面中进行当前场景图像的显示，接收当前场景图像显示界面内触发的触控事件，并记录触控事件的触发位置，一个或多个触发位置的连线构成触控事件轨迹。图8是本发明示例性实施例示出的显示界面切换的效果示意图。如图8所示，终端设备打开软件客户端，软件客户端接收到用户点击“拍摄”按钮的指令，进入前置摄像头拍摄界面810。软件客户端接收到用户点击“魔法”按钮801的指令，在显示界面展示“魔法”按钮对应的操作面板802。软件客户端接收到用户点击操作面板802中“神奇画笔”按钮803的指令，进入神奇画笔选择界面820，神奇画笔选择界面820中展示了多种轨迹素材样式即画笔种类，例如“钱多多”、“smoke”、“炫彩画笔”等多种画笔种类，用户可以选择任意画笔种类，并向用户展示“在立体空间中画画”的提示，引导用户创作。软件客户端接收到用户选择任意一种画笔种类的指令后，可以接收屏幕上触发的触控事件，获得触控事件轨迹，触控事件轨迹在空间中投射生成立体图形。该立体图形基于空间固定。用户调整终端设备摄像头的位置和角度，从而在终端设备显示界面中展示立体图形在不同角度下的画面参见界面830和840。在一种实施例中，如图9所示，用户可以在空间中配合采集的场景图像自由绘制，参见界面910。由于多种画笔不可同时使用，当用户切换画笔时，可以提示用户清空当前创作的轨迹图案，参见界面920。在上述示例性实施例的基础上，如图10所示，上述步骤330具体包括：在步骤331中，根据所述终端设备在空间坐标系中的位姿，将所述触控事件轨迹投射到所述终端设备视场方向上距离当前位置预设距离的一个平面；其中，触控事件发生时是指用户手指或触控笔接触屏幕时。终端设备的视场方向是指终端设备自身配置的摄像头进行图像采集的方向。位姿包括位置和姿态数据，位置用于表征终端设备中摄像头在空间坐标系中的位置。姿态用于表征终端设备中摄像头的采集方向。具体的，在触控事件发生时，软件客户端根据终端设备中摄像头在空间坐标系中的位姿包括位置和姿态，将显示界面中触控事件发生的像素点位置坐标，从像素坐标系转换成世界坐标系下的位置点像素坐标系中指定点找到在世界坐标系中的对应点属于现有技术，在此不再赘述。需要解释的是，根据世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的转换规则，一个世界坐标系中的坐标点，可以在图像中找到一个对应的像素点，但是反过来，通过图像中的一个像素点找到其在世界坐标系中对应的点，则缺少一个深度值。由此，本发明通过预先设置一个深度值即预设距离，将触控事件轨迹投射到空间坐标系中距离当前位置预设距离的一个平面内，并且根据摄像头的姿态，该平面需位于终端设备摄像头的采集方向。由此，根据像素坐标系中触控事件轨迹的像素点坐标位置，可以找到对应的世界坐标系下的位置点。在步骤332中，按照配置的目标轨迹样式，将触控事件轨迹在平面的投射位置处生成虚拟模型。具体的，该平面是指在空间坐标系中，距离摄像头预设距离且在摄像头图像采集方向的一个平面。软件客户端将获取的触控事件轨迹投射到空间坐标系中的上述平面，通过像素坐标系与世界坐标系之间的转换规则，得到像素坐标系中触控事件轨迹在空间坐标系中上述平面内的投射位置点。在一种实施例中，触控事件轨迹包括多个像素点位置坐标，由此投射位置包括与触控事件轨迹的像素点位置坐标对应的空间中多个位置点。目标轨迹样式是用户从多种轨迹素材样式中选择的其中一个样式，即画笔种类。软件客户端将触控事件轨迹在空间坐标系的投射位置处，按照用户选择的目标轨迹样式，形成目标轨迹样式指示的立体图形，在投射位置处生成的立体图形可以认为是虚拟模型。虚拟模型可以看成在空间中固定，当终端设备调整位姿时，可以捕捉到虚拟模型在不同角度下的图像。在一种示例性实施例中，如图11所示，上述步骤350具体包括：在步骤351中，根据终端设备在空间坐标系中的位姿，定位终端设备在空间坐标系中的视场范围；需要说明的是，随着终端设备的移动，终端设备自身配置的陀螺仪和加速度传感器可以实时采集终端设备在空间坐标系中的位姿，进而得到终端设备自身配置的摄像头在空间坐标系中的位置和姿态。定位终端设备在空间坐标系中的视场范围是指根据摄像头所处位置和拍摄方向，重新建立相机坐标系，相机坐标系的原点为相机的光心，x轴、y轴与图像的X,Y轴平行，z轴为相机光轴，它与图像平面即屏幕显示界面垂直。光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系为相机坐标系。像素坐标系的原点为图像屏幕显示界面的左上角。在步骤352中，将处于视场范围内的虚拟模型映射到终端设备的显示区域，形成模型视图。具体的，根据世界坐标系、相机坐标系、图像坐标系以及像素坐标系之间的转换规则，将世界坐标系中已构建的虚拟模型的空间位置点，转换成像素坐标系下的像素点位置坐标。由于终端设备的显示区域有限，按照转换得到的像素点位置坐标，在终端设备显示区域的对应像素点位置坐标下，填充与虚拟模型对应位置点一致的像素值，由此在终端设备显示区域得到虚拟模型映射的图案，即为模型视图。在一种示例性实施例中，上述步骤370具体包括：将终端设备在位姿下采集的场景图像作为背景，将模型视图覆盖在场景图像上，得到个性化场景图像。具体的，对于终端设备在某一位姿下采集的场景图像与该位姿下重构的模型视图，软件客户端将该场景图像作为背景，将虚拟模型映射的图案覆盖在场景图像之上，得到个性化场景图像。在一种示例性实施例中，上述步骤370具体包括：将模型视图逐帧叠加至终端设备在位姿下采集的图像序列，获得个性化场景视频。需要说明的是，可以启动视频录制功能，进行图像序列的采集。在进行图像序列采集的同时，针对采集每一帧图像时终端设备的位姿，将该位姿下的模型视图，叠加至所采集的图像上，通过逐帧在采集的场景图像上叠加当前位姿下的模型视图，从而可以得到个性化场景视频。在一种实施例中，本发明提供的个性化场景图像的处理方法可以基于ARKit框架实现。ARKit提供两种虚拟增强现实视图，包括3D效果的场景图像，以及2D效果的场景图像。图12是ARKit框架的架构示意图。如图12所示，UIView用户界面视图的作用是将视图显示在终端设备的显示界面中，ARSCNViewAR视图的作用也是显示一个3D场景，只不过这个3D场景是由摄像头捕捉到的现实世界图像构成的。ARSCNView只是一个视图容器，它的作用是管理一个ARSessionAR会话。在一个完整的虚拟增强现实体验中，ARKit框架只负责将真实世界画面转变为一个3D场景，这一个转变的过程主要分为两个环节：由ARCameraAR相机负责捕捉摄像头画面作为背景视图，由ARSession负责搭建3D场景，最后由ARSCNView进行3D场景的显示。其中，ARSession作为ARCamera和ARSCNView之间的沟通桥梁，搭建沟通桥梁的主要参与者有两个ARSessionConfiguration会话追踪配置与ARFrameAR架构。ARSessionConfiguration的主要目的就是负责追踪相机在3D世界中的位置和方向以及一些特征场景的捕捉例如平面捕捉，即检测设备相机看到的现实世界的表面。主要通过调用终端设备配备的传感器来检测终端设备的移动及旋转甚至是翻滚。ARFrame包含了相机捕捉的图片、相机位置等相关信息。其中，节点SCNNode获取用户绘制的虚拟模型的一个视图,场景类SCNScene类将该视图与相机拍摄的图像叠加形成个性化场景图像。图13是基于ARkit框架实现本发明的流程示意图。如图13所示，在步骤1301中，软件客户端接收用户触发“神奇画笔”标签，展示“神奇画笔”标签对应的面板。该面板展示了多种画笔样式。在步骤1302中，用户可以在展示的多种画笔样式中选择其中一种，软件客户端接收用户在面板中选择指定画笔样式的请求。在步骤1303中，软件客户端响应请求运行ARSCNView加载场景SCNScene。在步骤1304中，SCNScene启动相机ARCamera开始捕捉场景图像。在步骤1305中，软件客户端运行ARSCNView，将捕捉的场景数据传递给ARsession。在步骤1306中，软件客户端运行ARsession，ARsession通过管理ARsessionConfiguration实时追踪相机的位姿，返回ARFame包含场景图像、位姿等信息。在步骤1307中，获取用户绘制的触控事件轨迹，在空间中投射形成虚拟模型。其中，ARsessionConfiguration实时追踪相机的位姿是为了确定虚拟模型在空间中相对于相机的真实位置。在步骤1308中，软件客户端运行SCNNode，捕捉虚拟模型在当前位姿下的视图。在步骤1309中，软件客户端运行SCNScene将该视图与当前位姿下相机拍摄的图像叠加形成个性化场景图像，并通过UIView在终端设备进行个性化场景图像的显示。其中，如果用户选择切换画笔种类，则展示弹窗提醒用户是否清楚当前效果。下述为本发明装置实施例，可以用于执行本发明上述软件客户端110执行的个性化场景图像的处理方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明个性化场景图像的处理方法实施例。图14是根据一示例性实施例示出的一种个性化场景图像的处理装置的框图，该个性化场景图像的处理装置可以用于图1所示实施环境的终端设备110中，执行图3、图7、图10、图11任一所示的个性化场景图像的处理方法的全部或者部分步骤。如图14所示，该装置包括但不限于：轨迹获取模块1410、模型构建模块1430、视图重构模块1450以及场景叠加模块1470。其中，轨迹获取模块1410，用于根据在终端设备屏幕区域内触发的触控事件，获取所述屏幕区域内的触控事件轨迹；模型构建模块1430，用于根据所述触控事件轨迹在空间坐标系中的投射，生成虚拟模型；视图重构模块1450，用于按照所述终端设备在空间坐标系中的位姿，重构所述虚拟模型在所述终端设备视场范围内映射的模型视图；场景叠加模块1470，用于将所述模型视图与所述终端设备在所述位姿下采集的场景图像进行叠加，获得个性化场景图像。上述装置中各个模块的功能和作用的实现过程具体详见上述个性化场景图像的处理方法中对应步骤的实现过程，在此不再赘述。轨迹获取模块1410比如可以是图2中的某一个物理结构传感器组件214。模型构建模块1430、视图重构模块1450以及场景叠加模块1470也可以是功能模块，用于执行上述个性化场景图像的处理方法中的对应步骤。可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序，例如图2的处理器218所执行的存储在存储器204中的程序。在一种示例性实施例中，上述个性化场景图像的处理装置还包括：样式获取模块，用于根据接收到的轨迹绘制请求，展示多种轨迹素材样式；样式选择模块，用于根据对所述多种轨迹素材样式触发的选择，获得选择的目标轨迹样式；所述虚拟模型按照所述目标轨迹样式进行配置。在一种示例性实施例中，如图15所示，所述轨迹获取模块1410包括：图像采集单元1411，用于启动所述终端设备的图像采集装置，采集当前场景图像；事件接收单元1412，用于接收所述当前场景图像显示界面内触发的触控事件，记录所述触控事件的触发位置，所述触控事件的触发位置构成所述触控事件轨迹。在一种示例性实施例中，如图16所示，所述模型构建模块1430包括：轨迹投射单元1431，用于根据所述终端设备在空间坐标系中的位姿，将所述触控事件轨迹投射到所述终端设备视场方向上距离当前位置预设距离的一个平面；模型生成单元1432，用于按照配置的目标轨迹样式，将所述触控事件轨迹在所述平面的投射位置处生成虚拟模型。在一种示例性实施例中，如图17所示，所述视图重构模块1450包括：视场定位单元1451，用于根据所述终端设备在空间坐标系中的位姿，定位所述终端设备在所述空间坐标系中的视场范围；模型映射单元1452，用于将处于所述视场范围内的虚拟模型映射到所述终端设备的显示区域，形成模型视图。在一种示例性实施例中，所述场景叠加模块1470包括：视图覆盖单元，用于将所述终端设备在所述位姿下采集的场景图像作为背景，将所述模型视图覆盖在所述场景图像上，得到所述个性化场景图像。在一种示例性实施例中，所述场景叠加模块1470包括：将所述模型视图逐帧叠加至所述终端设备在所述位姿下采集的图像序列，获得个性化场景视频。可选的，本发明还提供一种电子设备，该电子设备可以用于图1所示实施环境的终端设备110中，执行图3、图7、图10、图11任一所示的个性化场景图像的处理方法的全部或者部分步骤。所述电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述示例性实施例所述的个性化场景图像的处理方法。该实施例中电子设备的处理器执行操作的具体方式已经在有关该个性化场景图像的处理方法的实施例中执行了详细描述，此处将不做详细阐述说明。在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器204，该存储介质存储有计算机程序，所述计算机程序可由可由装置200的处理器218执行以完成上述个性化场景图像的处理方法。应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

权利要求：1.一种个性化场景图像的处理方法，其特征在于，包括；根据在终端设备屏幕区域内触发的触控事件，获取所述屏幕区域内的触控事件轨迹；根据所述触控事件轨迹在空间坐标系中的投射，生成虚拟模型；按照所述终端设备在空间坐标系中的位姿，重构所述虚拟模型在所述终端设备视场范围内映射的模型视图；将所述模型视图与所述终端设备在所述位姿下采集的场景图像进行叠加，获得个性化场景图像。2.根据权利要求1所述的方法，其特征在于，所述根据在终端设备屏幕区域内触发的触控事件，获取所述屏幕区域内的触控事件轨迹之前，所述方法还包括：根据接收到的轨迹绘制请求，展示多种轨迹素材样式；根据对所述多种轨迹素材样式触发的选择，获得选择的目标轨迹样式；所述虚拟模型按照所述目标轨迹样式进行配置。3.根据权利要求1所述的方法，其特征在于，所述根据在终端设备屏幕区域内触发的触控事件，获取所述屏幕区域内的触控事件轨迹，包括：启动所述终端设备的图像采集装置，采集当前场景图像；接收所述当前场景图像显示界面内触发的触控事件，记录所述触控事件的触发位置，所述触控事件的触发位置构成所述触控事件轨迹。4.根据权利要求1所述的方法，其特征在于，所述根据所述触控事件轨迹在空间坐标系中的投射，生成虚拟模型，包括：根据所述终端设备在空间坐标系中的位姿，将所述触控事件轨迹投射到所述终端设备视场方向上距离当前位置预设距离的一个平面；按照配置的目标轨迹样式，将所述触控事件轨迹在所述平面的投射位置处生成虚拟模型。5.根据权利要求1所述的方法，其特征在于，所述按照所述终端设备在空间坐标系中的位姿，重构所述虚拟模型在所述终端设备视场范围内映射的模型视图，包括：根据所述终端设备在空间坐标系中的位姿，重构所述终端设备在所述空间坐标系中的视场范围；将处于所述视场范围内的虚拟模型映射到所述终端设备的显示区域，得到模型视图。6.根据权利要求1所述的方法，其特征在于，所述将所述模型视图与所述终端设备在所述位姿下采集的场景图像进行叠加，获得个性化场景图像，包括：将所述终端设备在所述位姿下采集的场景图像作为背景，将所述模型视图覆盖在所述场景图像上，得到所述个性化场景图像。7.根据权利要求1所述的方法，其特征在于，所述将所述模型视图与所述终端设备在所述位姿下采集的场景图像进行叠加，获得个性化场景图像，包括：将所述模型视图逐帧叠加至所述终端设备在所述位姿下采集的图像序列，获得个性化场景视频。8.一种个性化场景图像的处理装置，其特征在于，所述装置包括：轨迹获取模块，用于根据在终端设备屏幕区域内触发的触控事件，获取所述屏幕区域内的触控事件轨迹；模型构建模块，用于根据所述触控事件轨迹在空间坐标系中的投射，生成虚拟模型；视图重构模块，用于按照所述终端设备在空间坐标系中的位姿，重构所述虚拟模型在所述终端设备视场范围内映射的模型视图；场景叠加模块，用于将所述模型视图与所述终端设备在所述位姿下采集的场景图像进行叠加，获得个性化场景图像。9.根据权利要求8所述的装置，其特征在于，所述装置还包括：样式获取模块，用于根据接收到的轨迹绘制请求，展示多种轨迹素材样式；样式选择模块，用于根据对所述多种轨迹素材样式触发的选择，获得选择的目标轨迹样式；所述虚拟模型按照所述目标轨迹样式进行配置。10.根据权利要求8所述的装置，其特征在于，所述轨迹获取模块包括：图像采集单元，用于启动所述终端设备的图像采集装置，采集当前场景图像；事件接收单元，用于接收所述当前场景图像显示界面内触发的触控事件，记录所述触控事件的触发位置，所述触控事件的触发位置构成所述触控事件轨迹。11.根据权利要求8所述的装置，其特征在于，所述模型构建模块包括：轨迹投射单元，用于根据所述终端设备在空间坐标系中的位姿，将所述触控事件轨迹投射到所述终端设备视场方向上距离当前位置预设距离的一个平面；模型生成单元，用于按照配置的目标轨迹样式，将所述触控事件轨迹在所述平面的投射位置处生成虚拟模型。12.根据权利要求8所述的装置，其特征在于，所述视图重构模块包括：视场定位单元，用于根据所述终端设备在空间坐标系中的位姿，重构所述终端设备在所述空间坐标系中的视场范围；模型映射单元，用于将处于所述视场范围内的虚拟模型映射到所述终端设备的显示区域，得到模型视图。13.根据权利要求8所述的装置，其特征在于，所述场景叠加模块包括：视图覆盖单元，用于将所述终端设备在所述位姿下采集的场景图像作为背景，将所述模型视图覆盖在所述场景图像上，得到所述个性化场景图像。14.一种电子设备，其特征在于，所述电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行权利要求1-7任意一项所述的个性化场景图像的处理方法。15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行完成权利要求1-7任意一项所述的个性化场景图像的处理方法。

百度查询： 腾讯数码(天津)有限公司 个性化场景图像的处理方法及装置