谷歌有限责任公司沈卓然获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉谷歌有限责任公司申请的专利对依赖性建模的计算系统和方法以及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115885289B 。
龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202080102596.X,技术领域涉及:G06N3/045;该发明授权对依赖性建模的计算系统和方法以及介质是由沈卓然;I.贝洛;贾旭辉;陈敬晖;R.韦穆拉帕利设计研发完成,并于2020-09-16向国家知识产权局提交的专利申请。
本对依赖性建模的计算系统和方法以及介质在说明书摘要公布了:本公开提供了用于使用具有并行操作的内容注意力层和位置注意力层的全局自注意力模型来贯穿网络对依赖性进行建模的系统、方法和计算机程序产品。该模型接收包括内容值和上下文位置的输入数据。内容注意力层基于独立于上下文位置应用于内容值的全局注意力操作,针对每个上下文位置生成一个或多个输出特征。位置注意力层基于相应上下文位置的一个或多个内容值和相关联的相邻位置,针对上下文位置中的每个上下文位置生成注意力图。输出是基于由内容注意力层生成的输出特征和由位置注意力层针对每个上下文位置生成的注意力图来确定的。该模型提高了效率,并且可以贯穿深度网络使用。
本发明授权对依赖性建模的计算系统和方法以及介质在权利要求书中公布了:1.一种用于使用全局自注意力对依赖性执行建模的计算系统,包括: 一个或多个处理器;以及 一个或多个非暂时性计算机可读介质,其共同存储: 机器学习模型,被配置为接收模型输入并且处理所述模型输入以生成模型输出,其中,所述机器学习模型包括被配置为彼此并行操作的内容注意力层和位置注意力层,并且其中,所述机器学习模型被配置为执行操作,所述操作包括: 接收包括输入数据的层输入,所述输入数据包括多个内容值,每个内容值与一个或多个上下文位置相关联,以及其中,所述输入数据包括图像数据、视频数据、传感器数据、音频数据或文本数据中的至少一个; 由所述内容注意力层基于独立于所述上下文位置应用于所述内容值的全局注意力操作,针对每个上下文位置生成一个或多个输出特征; 由所述位置注意力层基于与相应上下文位置相关联的一个或多个内容值和相对于所述相应上下文位置的上下文位置的邻域,针对所述上下文位置中的每个上下文位置生成注意力图,所述位置注意力层至少包括注意沿着每个相应上下文位置的列的上下文位置的列关注注意力子层和注意沿着每个相应上下文位置的行的上下文位置的行关注注意力子层;以及 至少部分地基于由所述内容注意力层生成的针对每个上下文位置的一个或多个输出特征和由所述位置注意力层针对每个上下文位置生成的注意力图来确定层输出。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人谷歌有限责任公司,其通讯地址为:美国加利福尼亚州;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。