买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京深言科技有限责任公司申请的专利针对超长文本的高质量指令遵循数据的筛选方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119441468B 。

龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411459183.3，技术领域涉及：G06F16/335；该发明授权针对超长文本的高质量指令遵循数据的筛选方法和系统是由司书正;岂凡超;陈刚;吕传承设计研发完成，并于2024-10-18向国家知识产权局提交的专利申请。

本针对超长文本的高质量指令遵循数据的筛选方法和系统在说明书摘要公布了：本发明公开了一种针对超长文本的高质量指令遵循数据的筛选方法及系统，方法包括：计算文本在同源模型下的困惑度分数；将文本拆分为多个等长的段落，计算每个段落对应的重要性分数；提取文本段落中的词元，利用多头注意力机制构建平均注意力权重，计算出注意力权重分数；计算文本的上下文感知的注意力对齐难度分数；根据每个给定文本对应的困惑度分数和注意力对齐难度分数计算文本的最终分数；将最终分数从大到小进行排序，并选择其中排序靠前10％‑20％的分数对应的文本作为筛选出的高质量指令遵循数据。通过最终评分获得数据集中的高质量指令遵循数据，用于大规模下语言模型的训练，训练后的大规模语言模型在长文本场景下的任务上取得优异的表现。

本发明授权针对超长文本的高质量指令遵循数据的筛选方法和系统在权利要求书中公布了：1.一种针对超长文本的高质量指令遵循数据的筛选方法，其特征在于，所述方法包括：计算给定的数据集中不同长度文本在不同的同源模型下的困惑度分数，以衡量由于长距离依赖关系带来的模型回复生成难度；将每个给定的文本拆分为多个等长的段落，并计算每个段落对应的重要性分数：提取每个给定文本的每个段落中的词元，利用多头注意力机制构建每个词元的平均注意力权重，同时根据每个词元的注意力权重计算每个给定文本的每个段落的注意力权重分数；根据给定文本的每个段落的重要性分数和注意力权重分数计算每个文本的上下文感知的注意力对齐难度分数；根据每个给定文本对应的困惑度分数和注意力对齐难度分数计算文本的最终分数；将最终分数从大到小进行排序，并选择其中排序靠前10％-20％的分数对应的文本作为筛选出的高质量指令遵循数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京深言科技有限责任公司，其通讯地址为：100083 北京市海淀区中关村东路8号东升大厦AB座5层501单元；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。