买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：达闼机器人股份有限公司

摘要：本公开涉及一种虚拟机器人的互动方法，装置，存储介质及电子设备。该方法包括：获取用户输入的与所述虚拟机器人进行交互的互动信息；将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的；根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。本公开实施例用于实现虚拟机器人与用户之间的互动，提升了虚拟机器人的实时性，灵活性以及适用性，满足了用户与虚拟机器人的情感、动作交流的需求。

主权项：1.一种虚拟机器人的互动方法，其特征在于，用于视频直播平台，所述方法包括：获取用户输入的与所述虚拟机器人进行交互的互动信息；将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的；根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制；其中，训练所述控制模型的方法，包括：周期性地从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息，其中，从视频直播平台获取主播针对用户输入的互动信息的行为反应信息，包括：根据人体姿态解析模块从主播视频中提取主播的肢体动作信息，和或，根据人脸表情分析模块从主播视频中提取主播的面部表情信息，和或，根据语音分析模块从主播音频中提取主播的语音信息；将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练；其中，所述互动信息包括用户输入到视频直播平台的文本信息以及用户赠送给主播的虚拟礼物的图片信息；其中，所述将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练，包括：将所述文本信息和所述虚拟礼物的图片信息作为训练输入，对所述虚拟机器人的肢体动作，面部表情和语音进行训练。

全文数据：虚拟机器人的互动方法，装置，存储介质及电子设备技术领域本公开涉及人机交互领域，具体地，涉及一种虚拟机器人的互动方法，装置，存储介质及电子设备。背景技术目前，虚拟偶像已经成为娱乐领域的新亮点，逐渐受到人们的喜爱和追捧。但是，传统的虚拟偶像主要是基于系统预先设置好的人物角色，剧情发展，交互方式等元素预先实现的，无法与观众产生实时互动，灵活性和适用性较低。随着网络直播行业的发展，用户可以在网络直播平台上观看直播，通过文字与直播进行互动，还可以将虚拟奖品赠送给主播，现有的虚拟偶像技术无法应用于网络直播平台实现直播，直播间传统的辅助机器人功能也比较简单，主要以语音为主，不能满足人的情感交流、动作交流体验。发明内容本公开的主要目的是提供一种虚拟机器人的互动方法，装置，存储介质及电子设备，以解决上述相关技术中存在的问题。为了实现上述目的，本公开实施例第一方面提供一种虚拟机器人的互动方法，包括：获取用户输入的与所述虚拟机器人进行交互的互动信息；将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的；根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。可选地，还包括训练所述控制模型的方法，包括：从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息；将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练。可选地，所述从视频直播平台获取主播针对用户输入的互动信息的行为反应信息包括：根据人体姿态解析模块从主播视频中提取主播的肢体动作信息；和或根据人脸表情分析模块从主播视频中提取主播的面部表情信息；和或根据语音分析模块从主播音频中提取主播的语音信息。可选地，所述控制模型包括深度学习网络，所述深度学习网络经过卷积网络以及全连接层分为肢体动作输出，面部表情输出，语音输出三个分支；用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的图片信息，所述行为反应信息包括主播的肢体动作信息，面部表情信息和语音信息；所述将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练，包括：将所述文本信息和所述虚拟礼物的图片信息作为训练输入，对所述虚拟机器人的肢体动作，面部表情和语音进行训练。可选地，在所述获取用户输入的与所述虚拟机器人进行交互的互动信息之前，所述方法还包括：获取用户输入的偏好信息；从所述虚拟机器人的多种类型的控制模型中，确定与所述偏好信息相匹配的目标控制模型；所述将所述互动信息输入所述虚拟机器人的控制模型，包括：将所述互动信息输入所述目标控制模型；所述根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制，包括：根据所述目标控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。本公开实施例第二方面提供一种虚拟机器人的互动装置，包括：第一获取模块，用于获取用户输入的与所述虚拟机器人进行交互的互动信息；模型输入模块，用于将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的；控制模块，用于根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。可选地，还包括：第二获取模块，用于从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息；模型训练模块，用于将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练。可选地，所述第二获取模块，包括：第一获取子模块，用于根据人体姿态解析模块从主播视频中提取主播的肢体动作信息；和或第二获取子模块，用于根据人脸表情分析模块从主播视频中提取主播的面部表情信息；和或第三获取子模块，用于根据语音分析模块从主播音频中提取主播的语音信息。可选地，所述控制模型包括深度学习网络，所述深度学习网络经过卷积网络以及全连接层分为肢体动作输出，面部表情输出，语音输出三个分支；用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的图片信息，所述行为反应信息包括主播的肢体动作信息，面部表情信息和语音信息；所述模型训练模块用于：将所述文本信息和所述虚拟礼物的图片信息作为训练输入，对所述虚拟机器人的肢体动作，面部表情和语音进行训练。可选地，所述装置还包括：第三获取模块，用于获取用户输入的偏好信息；确定模块，用于从所述虚拟机器人的多种类型的控制模型中，确定与所述偏好信息相匹配的目标控制模型；所述模型输入模块用于，将所述互动信息输入所述目标控制模型；所述控制模块用于，根据所述目标控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。本公开实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。本公开实施例第四方面提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述方法的步骤。采用上述技术方案，至少能够达到如下技术效果：利用视频直播平台的历史数据，包括：用户输入的互动信息以及主播针对该互动信息的行为反应信息，作为模型训练样本训练得到控制模型，该控制模型的输出为控制虚拟机器人行为的控制信息。这样，基于该控制模型，通过实时采集用户输入的与虚拟机器人交互的互动信息，即可实现对虚拟机器人实时的与用户的互动反应控制，提升了虚拟机器人的实时性，灵活性以及适用性，满足了用户与虚拟机器人的情感、动作交流的需求。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是本公开实施例提供的一种虚拟机器人的互动方法的流程示意图；图2是本公开实施例提供的一种训练虚拟机器人控制模型的方法的流程示意图；图3是本公开实施例提供的一种控制模型训练过程的示意图；图4是本公开实施例提供的另一种控制模型训练过程的示意图；图5是本公开实施例提供的一种虚拟机器人的互动装置的结构示意图；图6是本公开实施例提供的一种虚拟机器人的互动装置的结构示意图；图7是本公开实施例提供的另一种虚拟机器人的训练装置的结构示意图；图8是本公开实施例提供的又一种电子设备的结构示意图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。本公开实施例提供一种虚拟机器人的互动方法，如图1所示，包括：S11、获取用户输入的与所述虚拟机器人进行交互的互动信息。在一种可能的实现方式中，本公开实施例可以结合动画技术与网络直播技术，将虚拟人物的动画形象在网络直播间进行展示，用户输入的所述互动信息即可以为用户在虚拟机器人的直播间输入的文本信息和或用户赠送的礼物的图片信息等。上述只是对本公开实施例可能的应用场景进行的举例说明，在另一种可能的实现方式中，该虚拟机器人可以不应用于网络直播，而是内置到单独的终端产品中，作为陪聊机器人或者情感交互机器人进行生产出售。本公开对此不做限定。S12、将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的。具体地，基于视频直播平台的历史播放信息，可以获得海量的样本，每一主播直播间的聊天室内观众输入的文本信息，赠送的虚拟礼物的图片信息可作为上述互动信息，并且，从主播视频和音频中可以提取到主播的行为反应信息，从而可以得到海量的模型训练样本，使得训练得到的控制模型对虚拟机器人的控制更接近于主播的真实反应。S13、根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。具体地，对虚拟机器人的行为控制可以包括对以动画形象显示的虚拟机器人的肢体动作，面部表情以及语音输出的控制。采用上述方法，利用视频直播平台的历史播放数据，包括：用户输入的互动信息以及主播针对该互动信息的行为反应信息，作为模型训练样本训练得到控制模型，该控制模型的输出为控制虚拟机器人行为的控制信息。这样，基于该控制模型，通过实时采集用户输入的与虚拟机器人交互的互动信息，即可实现对虚拟机器人实时的与用户的互动反应控制，提升了虚拟机器人的实时性，灵活性以及适用性，满足了用户与虚拟机器人的情感、动作交流的需求。为了使本领域技术人员更加理解本公开实施例提供的技术方案，下面对本公开实施例提供的虚拟机器人的互动方法进行详细的说明。首先，针对步骤S12中所述的控制模型，本公开实施例还包括对该控制模型的训练方法，值得说明的是，对控制模型的训练是根据从视频直播平台采集到的样本预先进行的，后续在虚拟机器人与用户的互动过程中，无需每次对控制模型进行训练，或者可以周期性的基于从视频直播平台新采集的样本对该控制模型进行更新。具体地，对虚拟机器人的控制模型的训练方法如图2所示，包括：S21、从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息。示例地，用户在视频直播平台输入的互动信息包括用户输入到直播聊天室的文本信息和或用户赠送给主播的虚拟礼物的图片信息。S22、将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练。下面对获取主播行为反应信息包括的方式进行说明：方式一、根据人体姿态解析模块从主播视频中提取主播的肢体动作信息。其中，所述肢体动作信息主要是肢体关节的位置信息。人体姿态解析模块的输入为连续图像帧，通过卷积神经网络学习得到姿态的概率图，然后结合光流信息，产生中间混合概率分布图，最后可得到关节位置信息。方式二、根据人脸表情分析模块从主播视频中提取主播的面部表情信息。具体地，可以首先通过人脸检测模块从主播视频中提取出人脸区域，然后经过深度神经网络学习，产生表情的分类结果。方式三、根据语音分析模块从主播音频中提取主播的语音信息。首先将一句语音转化成一张图像作为输入，即先对每帧语音进行傅里叶变换，再将时间和频率作为图像的两个维度，然后通过卷积网络，对整句语音进行建模，输出单元直接与最终的识别结果比如音节或者汉字相对应。值得说明的是，上述三种实施方式可以根据实际需求例如产品功能设计选择性实施，也就是说，步骤S21中，从视频直播平台获取主播针对用户输入的互动信息的行为反应信息包括：根据人体姿态解析模块从主播视频中提取主播的肢体动作信息；和或根据人脸表情分析模块从主播视频中提取主播的面部表情信息；和或根据语音分析模块从主播音频中提取主播的语音信息。下面以用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的图片信息，所述行为反应信息包括主播的肢体动作信息，面部表情信息和语音信息为例，对控制模型的训练进行说明。具体地，所述控制模型可以包括深度学习网络，所述深度学习网络经过卷积网络以及全连接层分为肢体动作输出，面部表情输出，语音输出三个分支，则所述将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练，包括：将所述文本信息和所述虚拟礼物的图片信息作为训练输入，对所述虚拟机器人的肢体动作，面部表情和语音进行训练。示例地，图3和图4分别示出了控制模型训练的示意图。其中，图3中示出了训练数据的来源，图4中示出了根据深度学习网络训练控制模型的过程。如图3所示，文本信息和礼物图片作为深度学习网络的输入样本，根据人体姿态解析模块和人脸表情分析模块从主播视频提取到的肢体动作信息以及面部表情信息，以及根据语音分析模块从主播音频中提取到的语音信息作为深度学习网络标记的输出样本。如图4所示，深度神经网络经过卷积网络以及全连接层分为肢体动作输出，面部表情输出，语音输出三个分支，实现对虚拟机器人的肢体动作，面部表情和语音分别进行训练。值得说明的是，人体姿态解析，人脸表情分析以及语音分析均可以通过神经网络进行深度学习的方式实现。在本公开实施例的一种可能的实现方式中，用户在与虚拟机器人进行互动之前，可以允许用户根据自身的喜好，选择虚拟机器人。示例地，步骤S11之前，可以获取用户输入的偏好信息，并从所述虚拟机器人的多种类型的控制模型中，确定与所述偏好信息相匹配的目标控制模型，其中，该多种类型的控制模块可以是根据不同性格类型的主播，采集数据训练得到的控制模型；相应地，步骤S12包括：将所述互动信息输入所述目标控制模型；步骤S13为：根据所述目标控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。该偏好信息可以是用户在供用户选择的标签信息中选中的目标标签信息，该标签信息例如可以是主播性格标签，主播表演风格标签等。示例地，本公开实施例可以根据视频直播平台上为每一主播呈现的性格标签，表演类型标签等对主播进行分类，并预先根据每一类主播的历史播放信息，分别训练控制模型，供用户输入偏好信息选择。从而可以实现基于用户的喜好，控制虚拟机器人与用户进行互动，相当于实现了用户对虚拟机器人性格的定制，提升用户体验。在具体实施时，虚拟机器人的外形也可以根据用户的喜欢进行定制，本公开对此不做限定。基于相同的发明构思，本公开实施还提供一种虚拟机器人的互动装置，用于实施上述方法实施例提供的虚拟机器人的互动方法，如图5所示，该装置包括：第一获取模块51，用于获取用户输入的与所述虚拟机器人进行交互的互动信息；模型输入模块52，用于将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的；控制模块53，用于根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。采用上述装置，该装置可以利用视频直播平台的历史播放数据，包括：用户输入的互动信息以及主播针对该互动信息的行为反应信息，作为模型训练样本训练得到控制模型，该控制模型的输出为控制虚拟机器人行为的控制信息。这样，基于该控制模型，通过实时采集用户输入的与虚拟机器人交互的互动信息，即可实现对虚拟机器人实时的与用户的互动反应控制，提升了虚拟机器人的实时性，灵活性以及适用性，满足了用户与虚拟机器人的情感、动作交流的需求。可选地，如图6所示，所述装置还包括：第三获取模块54，用于获取用户输入的偏好信息；确定模块55，用于从所述虚拟机器人的多种类型的控制模型中，确定与所述偏好信息相匹配的目标控制模型；所述模型输入模块52用于，将所述互动信息输入所述目标控制模型；所述控制模块53用于，根据所述目标控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。本公开实施还提供一种虚拟机器人的训练装置，用于实施图2提供的虚拟机器人的训练方法，如图7所示，该装置包括：第二获取模块56，用于从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息；模型训练模块57，用于将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练。示例地，用户在视频直播平台输入的互动信息包括用户输入到直播聊天室的文本信息和或用户赠送给主播的虚拟礼物的图片信息。可选地，所述第二获取模块56可以包括：第一获取子模块，用于根据人体姿态解析模块从主播视频中提取主播的肢体动作信息；和或第二获取子模块，用于根据人脸表情分析模块从主播视频中提取主播的面部表情信息；和或第三获取子模块，用于根据语音分析模块从主播音频中提取主播的语音信息。可选地，所述控制模型包括深度学习网络，所述深度学习网络经过卷积网络以及全连接层分为肢体动作输出，面部表情输出，语音输出三个分支；用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的图片信息，所述行为反应信息包括主播的肢体动作信息，面部表情信息和语音信息；所述模型训练模块57用于：将所述文本信息和所述虚拟礼物的图片信息作为训练输入，对所述虚拟机器人的肢体动作，面部表情和语音进行训练。值得说明的是，以上提供的虚拟机器人互动装置以及训练装置可以分开设立，也可以集成设置到同一服务器中，例如，该互动装置和该训练装置以软件、硬件或者两者相结合的方式实现服务器的部分或全部，本公开对此不做限定。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述虚拟机器人的互动方法的步骤。本公开实施例还提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述虚拟机器人的互动方法的步骤。值得说明的是，该电子设备可以作为虚拟机器人的控制装置，或者虚拟机器人也可以运行在该电子设备上，本公开对此不做限定。图8是本公开实施例提供的上述电子设备的一种框图。如图8所示，该电子设备800可以包括：处理器801，存储器802。该电子设备800还可以包括多媒体组件803，输入输出IO接口804，以及通信组件805中的一者或多者。其中，处理器801用于控制该电子设备800的整体操作，以完成上述虚拟机器人的互动方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作，这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器StaticRandomAccessMemory，简称SRAM，电可擦除可编程只读存储器ElectricallyErasableProgrammableRead-OnlyMemory，简称EEPROM，可擦除可编程只读存储器ErasableProgrammableRead-OnlyMemory，简称EPROM，可编程只读存储器ProgrammableRead-OnlyMemory，简称PROM，只读存储器Read-OnlyMemory，简称ROM，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。IO接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信NearFieldCommunication，简称NFC，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。在一示例性实施例中，电子设备800可以被一个或多个应用专用集成电路ApplicationSpecificIntegratedCircuit，简称ASIC、数字信号处理器DigitalSignalProcessor，简称DSP、数字信号处理设备DigitalSignalProcessingDevice，简称DSPD、可编程逻辑器件ProgrammableLogicDevice，简称PLD、现场可编程门阵列FieldProgrammableGateArray，简称FPGA、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述虚拟机器人的互动方法。其中，本公开实施例提供的上述计算机可读存储介质即可以为上述包括程序指令的存储器802，上述程序指令可由电子设备800的处理器801执行以完成上述虚拟机器人的互动方法。以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

权利要求：1.一种虚拟机器人的互动方法，其特征在于，包括：获取用户输入的与所述虚拟机器人进行交互的互动信息；将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的；根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。2.根据权利要求1所述的方法，其特征在于，还包括训练所述控制模型的方法，包括：从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息；将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练。3.根据权利要求2所述的方法，其特征在于，所述从视频直播平台获取主播针对用户输入的互动信息的行为反应信息包括：根据人体姿态解析模块从主播视频中提取主播的肢体动作信息；和或根据人脸表情分析模块从主播视频中提取主播的面部表情信息；和或根据语音分析模块从主播音频中提取主播的语音信息。4.根据权利要求2所述的方法，其特征在于，所述控制模型包括深度学习网络，所述深度学习网络经过卷积网络以及全连接层分为肢体动作输出，面部表情输出，语音输出三个分支；用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的图片信息，所述行为反应信息包括主播的肢体动作信息，面部表情信息和语音信息；所述将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练，包括：将所述文本信息和所述虚拟礼物的图片信息作为训练输入，对所述虚拟机器人的肢体动作，面部表情和语音进行训练。5.根据权利要求2至4中任一项所述的方法，其特征在于，在所述获取用户输入的与所述虚拟机器人进行交互的互动信息之前，所述方法还包括：获取用户输入的偏好信息；从所述虚拟机器人的多种类型的控制模型中，确定与所述偏好信息相匹配的目标控制模型；所述将所述互动信息输入所述虚拟机器人的控制模型，包括：将所述互动信息输入所述目标控制模型；所述根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制，包括：根据所述目标控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。6.一种虚拟机器人的互动装置，其特征在于，包括：第一获取模块，用于获取用户输入的与所述虚拟机器人进行交互的互动信息；模型输入模块，用于将所述互动信息输入所述虚拟机器人的控制模型，其中，所述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本训练得到的；控制模块，用于根据所述控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。7.根据权利要求6所述的装置，其特征在于，还包括：第二获取模块，用于从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息；模型训练模块，用于将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训练。8.根据权利要求7所述的装置，其特征在于，所述第二获取模块，包括：第一获取子模块，用于根据人体姿态解析模块从主播视频中提取主播的肢体动作信息；和或第二获取子模块，用于根据人脸表情分析模块从主播视频中提取主播的面部表情信息；和或第三获取子模块，用于根据语音分析模块从主播音频中提取主播的语音信息。9.根据权利要求7所述的装置，其特征在于，所述控制模型包括深度学习网络，所述深度学习网络经过卷积网络以及全连接层分为肢体动作输出，面部表情输出，语音输出三个分支；用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的图片信息，所述行为反应信息包括主播的肢体动作信息，面部表情信息和语音信息；所述模型训练模块用于：将所述文本信息和所述虚拟礼物的图片信息作为训练输入，对所述虚拟机器人的肢体动作，面部表情和语音进行训练。10.根据权利要求7至9中任一项所述的装置，其特征在于，所述装置还包括：第三获取模块，用于获取用户输入的偏好信息；确定模块，用于从所述虚拟机器人的多种类型的控制模型中，确定与所述偏好信息相匹配的目标控制模型；所述模型输入模块用于，将所述互动信息输入所述目标控制模型；所述控制模块用于，根据所述目标控制模型基于所述互动信息输出的行为控制信息，对所述虚拟机器人进行行为控制。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。12.一种电子设备，其特征在于，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。

百度查询： 达闼机器人股份有限公司 虚拟机器人的互动方法，装置，存储介质及电子设备