龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：派欧云计算(上海)有限公司
摘要：本发明公开了一种基于聊天机器人的问答模型推理优化和加速方法及装置，包括：基于张量切片操作优化问答模型中多头注意力机制的缩放点积操作，获取优化问答模型；收集用户提示词，基于预设系统提示词和对应的用户提示词构建提示词前缀树；利用池分配内存分配器将GPU内存划分出若干内存块，基于优化问答模型推理提示词前缀树，将张量分别存储在不同内存块，获取每个内存块的索引；计算树干对应的前缀全局注意力结果；计算每个树枝对应的后缀全局注意力结果，将每个后缀全局注意力结果分别与前缀全局注意力结果聚合得到每个路径的序列注意力结果，答复用户提示词。本发明有效提高了推理速度，显著降低了计算复杂度和存储开销。
主权项：1.一种基于聊天机器人的问答模型推理优化和加速方法，其特征在于，包括如下步骤：S1，基于张量切片操作对聊天机器人问答模型中多头注意力机制的键张量和值张量进行切片，基于切片后的键张量和值张量对多头注意力机制的缩放点积操作进行优化，获取优化后的问答模型；S2，收集用户提示词，基于预设系统提示词和该系统提示词对应的用户提示词构建提示词前缀树；S3，利用基于池分配的内存分配器将聊天机器人的GPU内存划分出若干个内存块，基于优化后的问答模型对步骤S2得到的提示词前缀树进行推理，将推理过程中得到的张量分别存储在不同的内存块中，并获取每个内存块的索引；S4，利用优化后问答模型的多头注意力机制基于步骤S3得到的索引计算提示词前缀树树干所对应的前缀全局注意力结果；S5，利用优化后问答模型的多头注意力机制基于步骤S3得到的索引计算提示词前缀树每个树枝所对应的后缀全局注意力结果，将每个后缀全局注意力结果分别与步骤S4得到的前缀全局注意力结果进行聚合得到提示词前缀树每个路径的序列注意力结果，优化后的问答模型基于序列注意力结果对用户提示词进行答复。
全文数据：
权利要求：
百度查询： 派欧云计算(上海)有限公司 基于聊天机器人的问答模型推理优化和加速方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号