买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京香侬慧语科技有限责任公司申请的专利模型行为可解释性方法、系统、介质及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114021718B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111297506.X，技术领域涉及：G06N5/045；该发明授权模型行为可解释性方法、系统、介质及设备是由王思宽;李晓雅;卢辰鑫;何豪杰;王铎;卜贺纯设计研发完成，并于2021-11-04向国家知识产权局提交的专利申请。

本模型行为可解释性方法、系统、介质及设备在说明书摘要公布了：本申请公开了一种模型行为可解释性方法、系统、介质及设备，属于神经网络模型技术领域。该方法包括：根据模型预测结果，确定测试样本中各个测试单元对预测结果的贡献度；对贡献度进行排序，根据贡献度的排序结果选取第一预设数量的测试单元作为解释单元；分别计算训练集中各个训练样本与解释单元的相关度；对相关度进行排序，根据相关度的排序结果选取第二预设数量的训练样本作为解释样本。该方法通过获取与训练结果相关的解释单元和解释样本，对神经网络模型的输出结果进行解释，联合训练和测试阶段解释模型行为的神经网络可解释性方案，形成从训练数据到输入测试样本再到模型预测结果的推理解释链路，更好地解释模型行为。

本发明授权模型行为可解释性方法、系统、介质及设备在权利要求书中公布了：1.一种模型行为可解释性方法，其特征在于，包括： 根据模型预测结果，确定测试样本中各个测试单元对所述预测结果的贡献度，对于所述预测结果为“积极”的内容为“电影极具吸引力，并且我特别喜欢它的配乐”的所述测试样本，分别计算所述测试样本中的“极具吸引力”、“喜欢”、“电影”以及“配乐”的所述测试单元对所述预测结果的贡献度； 对所述贡献度进行大小排序，根据所述贡献度的排序结果由大到小选取第一预设数量的所述测试单元作为解释单元，测试单元按照贡献度的大小的排序结果为：“极具吸引力”、“喜欢”、“电影”以及“配乐”，当所述第一预设数量为1时，选取所述测试样本中“极具吸引力”的所述测试单元作为所述预测结果“积极”的所述解释单元； 分别计算训练集中各个训练样本与所述解释单元的相关度，对于包括样本一、样本二和样本三的所述训练集，分别计算所述样本一、所述样本二和所述样本三与“极具吸引力”的解释单元的相关度； 对所述相关度进行排序，根据所述相关度的排序结果选取第二预设数量的所述训练样本作为解释样本，所述样本一中包含词汇“吸引力”，所述样本二中包含词汇“喜欢”，所述样本三种包含词汇“讨厌”，所述样本一、所述样本二和所述样本三与所述解释单元“极具吸引力”的相关度依次降低，当所述第二预设数量为1时，选取所述样本一作为解释样本； 通过联合测试阶段的所述解释单元和训练阶段的所述解释样本对模型的所述预测结果进行解释； 所述模型行为可解释性方法的应用场景包括对神经网络模型预测的下游任务，所述下游任务包括模型行为分析、错误分析、对抗样本生成、对抗样本防御以及修正模型预测。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京香侬慧语科技有限责任公司，其通讯地址为：100080 北京市海淀区北四环西路52号7层708；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。