买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明涉及可控文本生成技术领域，公开了一种基于细粒度规划机制与指令微调的可控文本生成方法；基于主题‑正文数据生成多层次细粒度提纲；构造结构化指令微调数据：人工编写部分种子指令，进而得到由多个完整指令组成的指令微调数据集；基于指令微调数据集，并采用因果语言建模形式对大语言模型进行训练，使大语言模型具有根据主题规划提纲、并以提纲作为控制信号撰写正文的能力；向完成训练的大语言模型输入包含主题的指令，大语言模型能够根据主题规划提纲，并根据提纲生成正文；本发明没有引入额外开销，提纲细粒度地限制了正文内容的风格、内容、立场，能够有效实现生成文本的内容可控。

主权项：1.一种基于细粒度规划机制与指令微调的可控文本生成方法，其特征在于，包括以下步骤：步骤一，基于主题-正文数据生成多层次细粒度提纲，具体包括以下步骤：S11，从文本数据集中挑选部分由主题和正文组成的数据，根据设计的提纲模板，人工编写提纲，作为示例；文本数据集，其中为第i个主题，为第i个正文，为正整数；编写生成提纲的指令；S12，将主题、正文、生成提纲的指令和示例进行连接，输入到大语言模型M，生成对应的提纲：；S13，遍历文本数据集，并重复步骤S12，构造由主题、提纲和正文组成的三元数据的集合：；步骤二，构造结构化指令微调数据：人工编写部分种子指令；基于种子指令，通过大语言模型生成多条的指令，构成指令集合；种子指令以及大语言模型生成的指令均包括主题变量槽位{topic}、提纲变量槽位{outline}、正文变量槽位{passage}；对于中每条三元数据，从指令集合中随机挑选一条指令，并将三元数据中的主题、提纲和正文分别填入指令中对应的主题变量槽位{topic}、提纲变量槽位{outline}、正文变量槽位{passage}，得到完整指令；进而得到由多个完整指令组成的指令微调数据集；步骤三，基于指令微调数据集，并采用因果语言建模形式对大语言模型进行训练，得到的可控文本生成模型；步骤四，向可控文本生成模型输入包含主题的指令，可控文本生成模型能够根据主题规划提纲，并根据提纲生成正文；或者，向可控文本生成模型输入包含主题和提纲的指令，可控文本生成模型根据主题和提纲生成符合主题要求的正文。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于细粒度规划机制与指令微调的可控文本生成方法