买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州元脑智能科技有限公司

摘要：本发明涉及人工智能技术领域，公开了一种数字人文本动作模型训练方法及数字人动作生成方法，该方法包括：获取数字人文本动作模型的模型训练样本集；对文本序列样本和动作序列样本进行随机掩码处理，得到文本掩码序列和动作掩码序列；基于预设预训练模型，根据文本掩码序列和动作掩码序列，确定若干种预训练模型损失，优化预设预训练模型的模型参数，以得到目标预训练模型；基于目标下游任务样本集，对目标预训练模型进行模型参数微调。通过构建适用于多种下游任务的目标预训练模型，后续再按照目标下游任务，对目标预训练模型进行针对性的模型参数微调，减少了数字人文本动作模型训练的工作量，也就提高了模型的训练效率。

主权项：1.一种数字人文本动作模型训练方法，其特征在于，包括：获取数字人文本动作模型的模型训练样本集，所述模型训练样本集包括若干个文本序列样本和若干个动作序列样本；对所述文本序列样本和动作序列样本进行随机掩码处理，得到文本掩码序列和动作掩码序列；基于预设预训练模型，根据所述文本掩码序列和动作掩码序列，确定若干种预训练模型损失；根据所述若干种预训练模型损失，优化所述预设预训练模型的模型参数，以得到目标预训练模型；按照目标下游任务，获取目标下游任务样本集；所述目标下游任务样本集的样本量低于所述模型训练样本集的样本量；基于所述目标下游任务样本集，对所述目标预训练模型进行模型参数微调，得到符合所述目标下游任务的目标数字人文本动作模型；所述基于预设预训练模型，根据所述文本掩码序列和动作掩码序列，确定若干种预训练模型损失，包括：将所述文本掩码序列输入至词嵌入层，以基于所述词嵌入层将所述文本掩码序列转换为文本掩码向量；将所述动作掩码序列输入至动作映射层，以基于所述动作映射层将所述动作掩码序列转换为动作掩码向量；基于文本编码层，对所述文本掩码向量进行文本编码处理，得到目标文本掩码向量；基于动作编码层，对所述动作掩码向量进行动作编码处理，得到目标动作掩码向量；根据所述目标文本掩码向量和目标动作掩码向量，确定若干种预训练模型损失；其中，所述预设预训练模型包括所述词嵌入层、动作映射层、文本编码层和动作编码层；所述根据所述目标文本掩码向量和目标动作掩码向量，确定若干种预训练模型损失，包括：根据所述目标文本掩码向量和目标动作掩码向量，生成若干个正样本对、若干个文本负样本对及若干个动作负样本对；其中，所述正样本对包括文本和动作相对齐的目标文本掩码向量和目标动作掩码向量，负样本对包括文本和动作未对齐的目标文本掩码向量和目标动作掩码向量，在所述文本负样本对中目标文本掩码向量为正向量，目标动作掩码向量为负向量，在所述动作负样本对中目标动作掩码向量为正向量，目标文本掩码向量为负向量；根据所述正样本对、文本负样本对及动作负样本对，确定若干种预训练模型损失；所述根据所述正样本对、文本负样本对及动作负样本对，确定若干种预训练模型损失，包括：对所述正样本对、文本负样本和动作负样本对中的目标文本掩码向量和目标动作掩码向量进行向量拼接，以得到对应的正样本掩码向量、文本负样本掩码向量和动作负样本掩码向量；基于文本动作统一融合层，对所述正样本掩码向量、文本负样本掩码向量和动作负样本掩码向量进行统一融合，得到正样本掩码融合向量、文本负样本掩码融合向量和动作负样本掩码融合向量；根据所述正样本掩码融合向量、文本负样本掩码融合向量和动作负样本掩码融合向量，确定若干种预训练模型损失；其中，所述预训练模型包括所述文本动作统一融合层。

全文数据：

权利要求：

百度查询： 苏州元脑智能科技有限公司 一种数字人文本动作模型训练方法及数字人动作生成方法