买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及一种基于复述质量优化的大语言模型数学推理方法，通过高质量的问题复述提升大语言模型的数学推理能力，本方案融合了多指标评分与成对比较两个模块：前者从六个角度出发，通过实验确定最佳的提示方式，利用大语言模型对复述质量进行单指标打分；后者则依据复述的综合质量，使用大语言模型进行复述间的相对排名，最终训练一个梯度提升决策树分类模型，将多指标评分模块的得分以及成对比较模块的相对关系作为特征输入，决策并挑选最佳复述。本发明提供了一种使用大语言模型进行复述质量评估通用的评价框架，有效地提升了模型在数学问题上的表现。

主权项：1.一种基于复述质量优化的大语言模型数学推理方法，其特征在于：包括以下步骤：步骤一：从数据集中选取一个数学问题，构建提示，并利用LLM生成多条复述；步骤二：设定连贯性、一致性、流畅性、相关性、匹配性和逻辑性共六个评估指标，用于复述质量评估；通过实验为各指标设置不同的提示方式，发挥各指标的评估性能；步骤三：结合步骤二中的六个指标及其对应的提示方式，使用LLM分别对各复述进行多指标评分，并将输出token的概率均值作为得分；步骤四：使用LLM对所有复述进行成对比较，通过多次对比累计积分的方式，得到复述之间的相对关系；所述步骤四具体包括：使用LLM对所有复述进行成对比较，采用循环比较的方式，即每条复述都需要与其他备选复述比较一次，则n条复述共会形成个对比组，复述ri与复述rj的比较可表示为LLMpromptCMP,q,ri,rj，其中promptCMP表示成对比较的具体提示；在进行各对比组的比较时，会顺序对比5次，交换两者的顺序再对比5次，对于每次比较，LLM都会选择综合表现更佳的复述，该复述获得2积分；如果两者不分伯仲，则各获得1积分，记ri与rj比较后获得的积分分别为与一轮有效的成对比较后，各复述间应该形成了明朗的偏序关系，即满足如下约束条件，复述间的优劣关系可构成一个有向无环的哈斯图； 若复述间不满足上述约束条件，则应当认为此次比较是自相矛盾的，针对矛盾部分进行重新比较，将复述之间的优劣关系转化为一个有向图，不满足上述约束的部分会在图中形成环路，使用拓扑排序去除所有入度为0的点以及出度为0的点，剩余无法去除的部分即为需要重新比较的所有复述；步骤五：训练一个分类器作为决策模型，包含如下过程：对训练集进行数据预处理，筛选存在最佳复述的样本；使用上述样本执行步骤一到步骤四，获取模型的输入特征和标签；选用梯度提升树算法实现分类任务，并使用XGBoost训练得到分类器，实现最终决策；步骤六：将步骤三多指标评分后的得分与步骤四成对比较后的积分输入训练完的决策模块，得到决策结果，将其选定为最佳复述；步骤七：使用筛选出的最佳复述结合原问题作为Prompt，以零样本思维链结合自一致性检查的方式输入给GPT-3.5以获得问题答案。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于复述质量优化的大语言模型数学推理方法