龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江工业大学
摘要：本发明属于NLP大模型领域，公开了一种基于大模型的多语言攻击性检测方法，包括：构建并清洗多语言攻击性检测的数据集；加载Llama2模型进行改造，并在改造后进行预训练得到预训练语言模型；基于数据集，采用LoRA微调方法对所述预训练语言模型进行微调，得到微调模型；利用微调模型进行多语言攻击性检测。本发明提升了模型的性能。与此同时，该方法又减少了模型的参数量，使得模型在实际的系统中部署时更加灵活和高效。
主权项：1.一种基于大模型的多语言攻击性检测方法，其特征在于，所述基于大模型的多语言攻击性检测方法，包括：步骤1：构建并清洗多语言攻击性检测的数据集；步骤2：加载Llama2模型进行改造，并在改造后进行预训练得到预训练语言模型，其中改造过程如下：步骤2.1：加载Llama2模型的参数，获取Llama2模型所有注意力头的参数，所述注意力头的参数包括键值头的权重和查询头的权重；步骤2.2：将每一键值头的权重转化为预设维度的张量；步骤2.3：基于张量对键值头进行KMeans聚类；步骤2.4：将KMeans聚类结果封装成字典，字典的key是每个注意力头对应的索引值，value是聚类后每个注意力头对应的聚类标签；步骤2.5：根据步骤2.4得到的字典，对相同的聚类标签的注意力头中的键值头进行平均池化融合成一个键值头；步骤2.6：将所有平均池化后得到的键值头进行拼接，得到键值头组合结果；步骤2.7：根据平均池化前键值头的个数，将步骤2.6得到的键值头组合结果进行repeat操作，扩展成Llama2模型原来的键值头个数，并组合对应的查询头得到新的注意力头，完成改造；步骤3：基于数据集，采用LoRA微调方法对所述预训练语言模型进行微调，得到微调模型；步骤4：利用微调模型进行多语言攻击性检测。
全文数据：
权利要求：
百度查询： 浙江工业大学 一种基于大模型的多语言攻击性检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号