恭喜中科南京软件技术研究院汤柯获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜中科南京软件技术研究院申请的专利基于多模态大模型在人机协同环境中的意图理解方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119785276B 。
龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510289601.7,技术领域涉及:G06V20/40;该发明授权基于多模态大模型在人机协同环境中的意图理解方法是由汤柯;李鹏;叶发萍设计研发完成,并于2025-03-12向国家知识产权局提交的专利申请。
本基于多模态大模型在人机协同环境中的意图理解方法在说明书摘要公布了:本发明涉及人工智能技术领域,涉及一种基于多模态大模型在人机协同环境中的意图理解方法。其包括以下具体步骤:视频分析与任务规划;采用关键帧提取和图像分割方法对视频进行预处理;构建任务的有向无环图,记忆可行的任务路径;实时意图判断;对多模态数据进行处理,将不同模态的数据截取图片按照固定方式拼接在一起;使用任务有向无环图筛选大模型一次判断时需要面对的子任务,并且给大模型梳理一些更可能发生的子任务序列;机械臂指令生成与反馈;根据任务有向无环图发出相应的指令、执行相应步骤,生成反馈数据。本发明通过结合视觉、听觉等多模态信息,实时感知环境和任务执行过程,成功实现了对复杂环境中人物行为的精准识别与任务推断。
本发明授权基于多模态大模型在人机协同环境中的意图理解方法在权利要求书中公布了:1.一种基于多模态大模型在人机协同环境中的意图理解方法,其特征在于,包括以下具体步骤:S1、视频分析与任务规划;S11、采用关键帧提取和图像分割方法对视频进行预处理;S12、构建任务的有向无环图,记忆可行的任务路径;任务有向无环图中的结点用于表征任务中存在的众多动作,箭头用于表征动作之间的时间逻辑顺序;构建任务有向无环图包括以下具体步骤:通过向多模态智能体输入指导视频,根据视频信息构建关于任务的任务结点和结点的时序序列;找到所有任务结点的依赖集合,无论沿着哪条路径,任务都需要的前置条件;找到所有任务结点的被依赖集合,无论沿着哪条路径,都会执行的任务结点;去除无关结点,即在同一个任务结点的依赖集合,又在其被依赖集合中的结点;标记潜在依赖和潜在被依赖,即在某条路径中,存在的前置条件和后置条件;标记互斥结点;所有的被依赖、潜在被依赖和互斥关系被列为逻辑表达式中的非项,依赖被列为正项;S2、实时意图判断;S21、对多模态数据进行处理,将不同模态的数据截取图片按照固定方式拼接在一起;S22、使用任务有向无环图筛选大模型一次判断时需要面对的子任务,并且给大模型梳理一些更可能发生的子任务序列;步骤S22中包括以下步骤:一、将任务有向无环图中的入度为0的任务结点标记成可执行结点;二、当一个可执行结点被执行完毕之后,将这个结点从任务有向无环图中剔除,然后从新的任务有向无环图中重新选择入度为0的结点;三、所有的结点被执行完毕,那么任务结束;否则回到步骤一;S3、机械臂动作指令的生成与反馈;S31、根据任务有向无环图发出相应的指令、执行相应步骤,生成反馈数据。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中科南京软件技术研究院,其通讯地址为:211135 江苏省南京市南京市麒麟科创园创研路266号人工智能产业园4号楼11楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。