龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明公开了一种基于LoRA的情感分析方法，属于人工智能技术领域，包括S1、预处理层，在预处理层对数据进行清洗，并使用BERT预训练模型对输入样本进行分词；S2、词嵌入层，对分词后的输入样本经过向量表示层，映射为高维连续的词向量以捕捉语义信息；S3、特征提取层，将高维词向量作为特征提取层的输入，进一步提取出特征向量；S4、输出层，将生成的特征向量作为最终输入样本表示，并通过情感分类层对文本情感进行极性判断。本发明采用上述一种基于LoRA的情感分析方法，通过在训练低秩矩阵的同时，利用低秩矩阵的增量更新预训练权重矩阵，在不增加训练参数和推理时间的前提下增加了模型的可控因素，缓解了原始LoRA方法对低秩矩阵的过度依赖问题。
主权项：1.一种基于LoRA的情感分析方法，其特征在于，包括以下步骤：S1、在预处理层对数据进行清洗，并使用BERT预训练模型对输入样本进行分词；S2、在词嵌入层对分词后的输入样本经过向量表示层，映射为高维连续的词向量以捕捉语义信息；S3、在特征提取层将高维词向量作为特征提取层的输入，进一步提取出特征向量；S4、在输出层将生成的特征向量作为最终输入样本表示，并通过情感分类层对文本情感进行极性判断；S3中采用LoRA方法通过低秩矩阵分解来模拟原始权重参数的改变量，具体为在原有网络中引入一个旁路结构，旁路结构由一个低秩矩阵A和低秩矩阵B组成，将低秩矩阵A和低秩矩阵B的乘机的增量作为原始权重W更新的参照，在训练过程中更新低秩矩阵A和低秩矩阵B的同时也利用其乘机的增量动态地更新训练原始权重W，更新过程如下式： h＝Wt+1·x+At+1Bt+1·x其中，Wt为第t时间步的原始权重，At,Bt分别是第t时间步的两个低秩矩阵，λ为权重矩阵W更新的比例，若采用梯度下降的方式来更新W，则Wt+1＝Wt-ηgW，其中η为学习率，gW为矩阵的梯度，预训练矩阵的权重增量就为ΔW＝-ηgW。
全文数据：
权利要求：
百度查询： 湖北大学 基于LoRA的情感分析方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号