买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利基于不确定驱动的大语言模型分段混合推理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121787593B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610251470.8，技术领域涉及：G06N5/04；该发明授权基于不确定驱动的大语言模型分段混合推理方法是由朱逸;苏廷君设计研发完成，并于2026-03-03向国家知识产权局提交的专利申请。

本基于不确定驱动的大语言模型分段混合推理方法在说明书摘要公布了：本发明涉及一种基于不确定驱动的大语言模型分段混合推理方法，包括获取当前文本数据和历史状态特征，以预估当前分段的不确定性指标；并根据不确定性指标最小化统一调度目标函数，以得到目标推理模式；根据目标推理模式执行推理计算，生成键值对对应的信息贡献度；根据不确定性指标和信息贡献度，计算对应的动态合并控制概率，并对待合并的键值对执行加权合并或剪枝，以得到压缩后的键值对；定义偏离度量，并限定偏离度量不超过由动态合并控制概率集合和不确定性指标确定的预设上界；当超过时，触发回退处理；否则，将压缩后的键值对状态反馈至下一分段进行循环迭代，直至完成全部分段的推理；从而在保证精度的前提下降低显存占用与推理延迟。

本发明授权基于不确定驱动的大语言模型分段混合推理方法在权利要求书中公布了：1.一种基于不确定驱动的大语言模型分段混合推理方法，其特征在于，包括以下步骤： 获取当前输入请求的文本数据和历史状态特征，并根据所述历史状态特征预估当前分段的不确定性指标，其中，所述历史状态特征包括上一段推理时间步的注意力分布、隐藏状态统计特征和系统运行状态特征，或者经轻量级先验网络计算得到的特征向量； 构建包括显存占用成本、推理延迟成本及不确定性风险的统一调度目标函数，并根据所述不确定性指标最小化所述统一调度目标函数，以从预设的推理模式集合中选择当前分段的目标推理模式，所述推理模式集合包括全量推理、混合推理和增量推理； 根据所述目标推理模式对当前分段的文本数据执行推理计算，生成键值对，并对生成的每个键值对计算信息贡献度； 根据所述不确定性指标和所述信息贡献度，计算各键值对的动态合并控制概率，并根据抽样或确定性选择结果对待合并的键值对执行加权合并或剪枝，以得到压缩后的键值对； 定义压缩后输出分布与全量推理输出分布之间的偏离度量，并限定所述偏离度量不超过由动态合并控制概率集合和不确定性指标确定的预设上界； 当所述偏离度量超过所述预设上界时，触发回退处理以调整合并强度和或调度权重；当所述偏离度量未超过所述预设上界时，将压缩后的键值对状态反馈至下一分段进行循环迭代，直至完成全部分段的推理； 其中，所述不确定性指标采用注意力熵、logit熵、top-kmargin或自一致性分歧中的一种或多种； 其中，根据以下公式得到统一调度目标函数： 其中，m表示候选推理模式，VRAMm表示执行m模式时的显存占用，Latencym表示推理延迟，Riskm表示低精度或低上下文覆盖带来的风险度量，、表示归一化常数，、、表示权重系数，表示不确定性指标。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361000 福建省厦门市思明区思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。