龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：百度(美国)有限责任公司
摘要：生成对抗模型有很多益处；然而，由于模式瓦解，这些生成器面临质量‑多样性的折衷即，生成器模型为了提高生成质量而牺牲了生成多样性。本文提出的是通过减速模式瓦解来提高对抗性内容生成的性能的实施例。在一个或多个实施例中，采用协作训练范式，其中第二模型与生成器协作训练，并且帮助有效地塑造生成器的数据分布以防止模式瓦解。此外，可以使用元学习机制的实施例，其中对生成器的协作更新用作高级元任务，并且其有助于确保在对抗性更新后生成器参数保持对模式瓦解的抵抗力。在实验中，经测试的使用证明了对抗文本生成器的模式瓦解的有效减慢。总体而言，实施例在生成质量和多样性两者方面以明显的优势胜过基准方法。
主权项：1.一种用于训练文本生成器并生成文本的计算机实现的方法，其包括：响应于尚未达到停止条件，执行步骤，所述步骤包括：从训练数据中采样一组数据点；使用包括一组生成器参数值的生成器模型来生成一组生成的数据点；使用对抗训练损失函数来计算所述生成器模型的对抗损失；使用所述对抗损失和梯度下降来确定用于所述生成器模型的一组中间生成器参数值；使用从所述训练数据中采样的所述一组数据点作为到包括第二神经网络模型组的参数值的第二神经网络模型的输入以及到包括所述一组中间生成器参数值的所述生成器模型的输入，计算所述生成器模型的协作训练损失；使用所述协作训练损失来确定元梯度；使用对抗梯度来更新所述一组生成器参数值，所述对抗梯度是使用所述生成器模型的所述对抗损失和所述元梯度获得的；使用鉴别器模型的对抗损失来更新所述鉴别器模型的一组鉴别器参数值；以及使用所述第二神经网络模型的协作训练损失来更新所述第二神经网络模型的所述第二神经网络模型组的参数值；以及响应于已达到所述停止条件，输出所述生成器模型，并使用所述生成器模型生成文本，所述生成器模型包括生成器参数值的最终更新的集合。
全文数据：
权利要求：
百度查询： 百度(美国)有限责任公司 元协作训练范式
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号