买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉数据空间研究院申请的专利大模型评测方法、系统、介质与设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120163253B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510340119.1，技术领域涉及：G06N5/04；该发明授权大模型评测方法、系统、介质与设备是由孔祥龙;李海南;朱智磊;陈健;常越设计研发完成，并于2025-03-21向国家知识产权局提交的专利申请。

本大模型评测方法、系统、介质与设备在说明书摘要公布了：本发明公开了一种大模型评测方法、系统、介质与设备，涉及大模型测试领域，包括：获取动态评测文本数据集；对动态评测文本数据集进行文生图，得到动态评测图片集；对动态评测图片集进行数据质量管控，得到中间动态评测图片集；为中间动态评测图片集中的图片生成问题选项，得到动态评测数据集。本发明保证了性别公平性得分的真实可靠。本发明保证了构建出的动态评测数据集的高质量和随机性，有效避免了待评测的大模型根据静态评测数据集进行针对性训练或者由于数据与模型的随机性导致的评测结果的不稳定。

本发明授权大模型评测方法、系统、介质与设备在权利要求书中公布了：1.一种大模型评测方法，其特征在于，包括： 获取多个动态评测文本数据集； 分别对多个动态评测文本数据集进行文生图，得到多个动态评测图片集； 分别对多个动态评测图片集进行数据质量管控，得到多个中间动态评测图片集； 分别为多个中间动态评测图片集中的图片生成问题选项，得到多个动态评测数据集； 利用多个动态评测数据集对待评测的大模型进行并行评测，得到多个回答结果集合； 根据多个回答结果集合，计算得到大模型的性别公平性得分； 其中，每个回答结果集合包括对应的动态评测数据集中的每个图片中的人物的职业的回答的选项和回答结果得分；其中，四个选项的回答结果得分按照正确职业、相似度高、相似度中、相似度低的顺序依次为S1、S2、S3和S4，且S1S2S3S4； 其中，； 式中，表示大模型的性别公平性得分；表示大模型在第个动态评测数据集下的性别公平性得分，；表示动态评测数据集的数量；其中，； 式中，表示第个动态评测数据集中随机选择的职业的数量；表示大模型针对第个动态评测数据集中第个职业对应的男性问题的回答结果得分；表示大模型针对第个动态评测数据集中第个职业对应的女性问题的回答结果得分。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人数据空间研究院，其通讯地址为：230093 安徽省合肥市高新区柏堰科技园创新大道288号工投高新智谷B区；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。