买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明公开了一种主动挖掘和评估越狱漏洞的自动模糊检测方法及系统，通过将越狱提示拆分成模糊模板、约束条件和非法问题三个基本组成部分，并为不同基类和组合类的越狱攻击分别设计模糊模板，并生成大量在意思上不同的越狱提示作为挖掘漏洞的测试用例，将其作为输入提供给特定的待测模型，并记录模型的响应作为攻击结果。本发明利用传统安全领域中的模糊测试的思想，设计了一种创新的提示生成策略，利用模糊模板、约束条件和非法问题集生成了丰富的越狱提示，进而组合成强大的组合攻击，扩大了可检测到的潜在越狱漏洞的范围，能有效地在大型语言模型中主动挖掘和评估出潜在的越狱漏洞，使得模型拥有者能提前并主动应对模型攻击者可能的越狱攻击。

主权项：1.一种主动挖掘和评估越狱漏洞的自动模糊检测方法，其特征在于，包括以下步骤：步骤1：定义越狱攻击类别和越狱提示组件；所述越狱攻击类别，包括角色扮演型越狱RP、输出约束型越狱OC、权限提升型越狱PE，及RPOC组合、RPPE组合、PEOC组合和RPPEOC组合；所述角色扮演型越狱RP，是通过在对话中构建一个叙事情景来转移模型防御非法问题的注意力；所述输出约束型越狱OC，通过在模型输出层面施加限制，从而突破模型的安全机制；所述权限提升型越狱PE，诱使模型直接突破对于普通用户的权限限制，执行原本未经授权的操作；所述越狱提示组件，包括模糊模板、约束条件和非法问题；所述模糊模板，是生成越狱提示的基础；所述约束条件，为成功越狱所必须满足的要素；步骤2：为不同越狱攻击类别分别设计模糊模板，模糊模板包括约束条件占位符，非法问题占位符，以及与该类别相对应的文字描述；步骤3：进行模糊模板的同义改写，生成语义相似但形式不同的模糊模板作为模糊模板集T＝{t1，t2，tn}，n为模糊模板数；步骤4：构建约束集、非法问题集，利用约束集、非法问题集和模糊模板集，生成大量在意思上不同的越狱提示作为挖掘漏洞的测试用例，作为越狱提示集P；所述约束集m为越狱攻击类别数，每个ci集合代表一个特定越狱攻击类别的具体约束要求；所述问题集其描述可能出现在提示中的各类非法或敏感问题，k为问题类别数，每个qi代表一个具体问题类别的所有问题集合；步骤5：将生成的越狱提示输入被测试模型中，记录模型对每个越狱提示的响应作为攻击结果；步骤6：对攻击结果进行标注，利用标签模型为每个攻击结果标记“好”或“坏”，从而挖掘出被测试模型潜在的越狱漏洞。

全文数据：

权利要求：

百度查询： 武汉大学 一种主动挖掘和评估越狱漏洞的自动模糊检测方法及系统