买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京清程极智科技有限公司申请的专利召回准确性评估方法、系统、设备、介质及产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119149687B 。

龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411134516.5，技术领域涉及：G06F16/3329；该发明授权召回准确性评估方法、系统、设备、介质及产品是由师天麾;张卓然;黄可钊;汤雄超设计研发完成，并于2024-08-19向国家知识产权局提交的专利申请。

本召回准确性评估方法、系统、设备、介质及产品在说明书摘要公布了：本申请公开了一种召回准确性评估方法、系统、设备、介质及产品，涉及大模型应用技术领域，公开了召回准确性评估方法，包括：将预设的知识库划分为各个知识块，并通过大语言模型，生成各所述知识块各自对应的问题；将各所述问题分别输入至所述大语言模型，得到各所述问题各自对应的知识块溯源结果，其中，所述知识块溯源结果为所述大语言模型基于输入的问题召回的知识块；根据各所述问题各自对应的所述知识块和各自对应的所述知识块溯源结果，自动评估召回准确性。本申请技术方案旨在解决如何在评估召回准确性时降低评估所需的成本的技术问题。

本发明授权召回准确性评估方法、系统、设备、介质及产品在权利要求书中公布了：1.一种召回准确性评估方法，其特征在于，所述召回准确性评估方法包括：将预设的知识库划分为各个知识块，并通过大语言模型，生成各所述知识块各自对应的问题，其中，所述知识库划分为知识块的方式包括按照数据类型进行划分，所述数据类型包括文本和表格；对于文本类型的知识库，按照章节进行划分；对于表格类型的知识库，将每个单元格作为一个知识块；将各所述知识块分别转换为向量，并将各所述向量存储至RAG应用中；将各所述问题分别输入至所述大语言模型，并通过所述大语言模型，在所述RAG应用所存储的向量中确定各所述问题各自对应的目标向量；将各所述目标向量各自对应的知识块作为各所述问题各自对应的知识块溯源结果，并输出各所述知识块溯源结果，其中，所述知识块溯源结果为所述大语言模型基于输入的问题召回的知识块；对于各所述问题，将对应于同一问题的知识块和知识块溯源结果进行比较，得到各所述问题各自对应的知识块比对结果，在每个问题各自对应于一个所述目标向量时，所述知识块比对结果为“知识块溯源结果与知识块相同”，和，“知识块溯源结果与知识块不相同”中的一种；在每个问题各自对应于多个目标向量时，所述知识块比对结果为“知识块溯源结果包含知识块”，和，“知识块溯源结果不包含知识块”中的一种；根据各所述知识块比对结果，计算命中率和或者平均排名倒数，并根据所述命中率和或所述平均排名倒数自动评估召回准确性。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京清程极智科技有限公司，其通讯地址为：100000 北京市海淀区中关村大街18号8层04-898；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。