买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军军事科学院系统工程研究院

摘要：本发明公开了一种用于形式化定理证明的大模型思维链评估方法及系统，本方法包括：构建原始数据集并训练大模型，得到训练完毕的大模型，作为基准模型；基于原始数据集，构建第一数据集、第二数据集，生成基准中间数据、第一中间数据、第二中间数据，确定基准模型的第一性能；基于所述基准注意力数据与第三注意力数据的对比结果，确定基准模型的第二性能；基于基准思维链提示数据与第四基准思维链提示数据的对比结果，确定基准模型的第三性能；基于所述第一性能、第二性能、第三性能，对所述原始数据集进行修正，得到修正后的训练集及训练方式，由修正后的训练集对所述训练完毕的大模型再次训练，得到新的训练完毕的大模型。

主权项：1.一种用于形式化定理证明的大模型思维链评估方法，其特征在于，所述方法包括如下步骤：步骤S1：构建原始数据集，所述原始数据集中的数据包括由计算机系统安全属性转换形成的形式化定理的证明步骤、用于表征所述转换形成的形式化定理的每个证明步骤执行后计算机系统的状态变化的状态变化树数据、以及前提库，其中：所述前提库由前提数据组成，所述前提数据是所述转换形成的形式化定理进行形式化定理证明所需要满足的前提；在所述证明步骤中，有若干证明步骤包含了对其所需要的状态变化树数据和或前提数据的引用；所述原始数据集用于训练大模型，得到训练完毕的大模型，作为基准模型；其中，所述状态变化树是在形式化定理证明过程中，由证明目标、计算机系统的状态变化所构成的数据结构，所述前提是形式化定理证明中所需要依赖或基于的公理、假设或定义；步骤S2：基于原始数据集，构建仅包括状态数据树数据的第一数据集、仅包括前提数据的第二数据集；使用第一数据集训练大模型，得到训练完毕的第一大模型；使用第二数据集训练大模型，得到训练完毕的第二大模型；将所述基准模型的证明成功率、证明步骤的准确性、证明的完整度作为基准中间数据，将所述第一大模型的证明成功率、证明步骤的准确性、证明的完整度作为第一中间数据，将所述第二大模型的证明成功率、证明步骤的准确性、证明的完整度作为第二中间数据；基于所述第一中间数据、第二中间数据与所述基准中间数据的对比结果，确定所述基准模型的第一性能；步骤S3：从原始数据集中选取若干状态变化树数据、以及若干前提数据以形成第三数据集；所述基准模型包括用于计算注意力的计算层，所述计算层对原始数据集中的数据计算注意力权重，将计算得到的注意力权重的平均值作为基准注意力数据；所述计算层对第三数据集中的数据计算注意力权重，将计算得到的注意力权重作为第三注意力数据；基于所述基准注意力数据与第三注意力数据的对比结果，确定所述基准模型的第二性能；步骤S4：从原始数据集中采样若干包含引用的证明步骤作为第四数据集；将所述基准模型在原始数据集的证明步骤提示下的输出作为基准思维链提示数据；将所述第四数据集中仅包含状态变化树数据的引用的证明步骤和仅包含前提数据的证明步骤分别输入所述基准模型，将所述基准模型在所述第四数据集的证明步骤提示下的输出作为第四基准思维链提示数据；基于所述基准思维链提示数据与第四基准思维链提示数据的对比结果，确定所述基准模型的第三性能；其中，所述思维链是指基准模型内部的推理步骤；步骤S5：基于所述第一性能、第二性能、第三性能，对所述原始数据集进行修正，得到修正后的训练集；确定训练方式的修正方式；由修正后的训练集对所述训练完毕的大模型再次训练，得到新的训练完毕的大模型。

全文数据：

权利要求：

百度查询： 中国人民解放军军事科学院系统工程研究院 用于形式化定理证明的大模型思维链评估方法及系统