买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：友好人工智能公司

摘要：提供用于基于转换器的生成任务的推理系统的选择性分批。推理系统通过对转换器模型中的操作的子集进行选择性分批但针对转换器模型中的操作的子集单独地处理批中的请求，来将机器学习转换器模型应用于具有可变输入长度或可变目标长度或可变内部状态长度的一批请求。在一个实施方式中，要单独处理的操作是转换器模型的编码器或解码器的注意力操作。通过选择性分批，推理系统可以使得能够针对具有可变的输入长度或目标长度或内部状态长度的一批请求执行批操作，以利用硬件加速器的并行计算能力，同时防止针对将一批请求的数据约束到相同长度的变通方案而发生的不必要的计算。

主权项：1.一种通过应用机器学习转换器模型来执行一批请求的方法，包括：接收包括两个或更多个令牌序列的一批请求，其中，针对所述批中的第一请求的第一令牌序列的长度不同于针对所述批中的第二请求的第二令牌序列的长度；访问包括至少一组解码器的机器学习转换器模型；针对一次或更多次迭代，执行以下步骤：通过将所述组解码器应用于针对所述请求的一个或更多个输入来生成针对所述请求的一个或更多个输出令牌，所述生成进一步包括，针对所述组中的至少一个解码器：通过将QKV权重张量应用于一个或更多个输入表示来生成针对所述请求的一个或更多个查询、一个或更多个关键字以及一个或更多个值，所述一个或更多个查询、所述一个或更多个关键字以及所述一个或更多个值通过批操作生成，从所述一个或更多个查询中拆分针对所述第一请求的第一查询、从所述一个或更多个关键字中拆分针对所述第一请求的第一关键字以及从所述一个或更多个值中拆分针对所述第一请求的第一值，并且从所述一个或更多个查询中拆分针对所述第二请求的第二查询、从所述一个或更多个关键字中拆分针对所述第二请求的第二关键字以及从所述一个或更多个值中拆分针对所述第二请求的第二值，通过至少将所述第一查询、所述第一关键字和所述第一值相乘来生成针对所述第一请求的第一注意力输出，通过至少将针对所述第二请求的第二查询、第二关键字和第二值相乘来单独地生成针对所述第二请求的第二注意力输出，将至少所述第一注意力输出和所述第二注意力输出连结成连结张量，以及通过至少将一个或更多个权重张量应用于所述连结张量来生成一个或更多个输出表示，所述一个或更多个输出表示通过批操作生成；将所述一个或更多个输出令牌设置为所述组解码器的一个或更多个输入，以用于接下来的迭代；以及将针对至少一个请求生成的输出令牌作为对所述至少一个请求的响应提供给客户端设备，其中，输入至所述组解码器的令牌序列中的一个或更多个令牌表示文本单元。

全文数据：

权利要求：

百度查询： 友好人工智能公司 用于基于转换器的生成任务的推理系统的选择性分批