买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:华东师范大学
摘要:本发明公开了一种基于大语言模型的心理咨询对话评估系统,属于自然语言处理领域。训练大语言模型所需要的数据集来自真实对话,模型训练方法采用低秩适配高效微调。应用所述数据和训练方法,实现了一个由半结构化的心理咨询对话模型和心理咨询评估模型共同组成的心理咨询对话评估系统,为受访者提供AI(ArtificialIntelligence)心理咨询对话评估服务,同时根据对话内容和评估分数可以生成一份供受访者参考的评估报告。本发明能够使大语言模型在心里咨询对话评估效果上得到提高,在心理咨询过程中可以有效进行倾听询问,建立情感连接,并给予受访者合理的评估建议和情感支持。
主权项:1.一种基于大语言模型的心理咨询对话评估系统,其特征在于,所述系统包括:1心理咨询对话模型以大语言模型为基础,收集真实心理咨询咨询场景数据,数据内容包括咨询师由十六个评估维度隐式询问受访者形成的半结构式心理咨询咨询对话,将所述数据给大语言模型学习,构建一个心理咨询对话模型;具体过程:将每一条训练数据整理为如下形式进行模型微调:输入文本:历史对话目标输出文本:期望模型回复利用大语言模型标准损失微调模型,即:h0=UWe+Wp1hl=transformer_blockhl-12 其中U={u1,...,un};U表示整个句子,ut表示每一个字段token,w表示上下文窗口大小,n表示句子中包含token的数量;We表示嵌入矩阵,Wp表示位置编码矩阵,h0表示隐状态初始向量,hl表示模型第l层隐状态向量,hm表示模型最后一层隐状态向量,Pu表示对ut的输出概率分布,LU表示整个句子的损失,θ0表示模型预训练权重参数;使用低秩适配Low-RankAdapter微调方法,冻结预训练参数θ0,只更新低秩适配矩阵ΔW,微调损失变为:hl=W0hl-1+ΔWhl-1=W0hl-1+BAhl-15 其中矩阵A是高斯初始化矩阵,矩阵B是全零矩阵,w表示上下文窗口大小,W0表示冻结的原参数矩阵,We表示嵌入矩阵,hl表示模型第l层隐状态向量,hm表示模型最后一层隐状态向量,Pu表示对ut的输出概率分布,LU表示整个句子的损失,θ0表示模型预训练权重参数,Δθ表示低秩适配矩阵参数;2心理咨询评估模型对评估维度q进行关键字提取得到若干关键字ki,计为K,得到长文本对话历史中十六个评估维度的支持片段;将整个历史对话内容Ci以对话轮次为单位分割成一系列句子级别的检索片段{D1,...,DM},实现细粒度的检索,通过计算关键词与检索片段之间的相关性得分,识别并找到最相关的段落;对于第Dj片段,与所有关键字K的相关性得分被表述为:Stj=∑k∈KfEki,EDj8其中E·是基于Sentence-Transformer的嵌入函数,f·是余弦相似度函数,Sij是通过余弦相似度方法计算出来的得分;根据相关性得分召回若干相关单轮对话片段,记为Ptop,保证对话顺序;同时,利用大语言模型的知识丰富性,训练一个辅助大语言模型MR来判断对话片段是否有效,这一过程被称为反思机制;辅助大语言模型MR的召回结果被表述为: 其中,hi表示对相关对话片段的帮助性描述,而ri表示对评估维度q的回答,表示大语言模型MR的输出概率分布,Ptop表示相关单轮对话片段;将心理咨询对话模型的对话历史交给心理咨询评估模型进行评估,构成心理咨询对话评估系统;所述对话模型利用Web服务实时提供咨询,所述评估模型根据对话历史检索心理咨询对话片段,根据检索到的对话片段对评估维度打分,根据打分结果生成评估报告。
全文数据:
权利要求:
百度查询: 华东师范大学 基于大语言模型的心理咨询对话评估系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。