龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明涉及一种基于拓扑语义地图提示的视觉语言导航规划方法和设备，方法首先由大语言模型将长指令分解成短指令并提取特定地标词汇，这些地标将由多模态模型在图像上进行提取和分类，生成相应的语义掩码和对应的文本描述信息，并基于文本描述信息对2D语义编码进行简化，然后结合无人机位置姿态信息和图像深度信息构建更新自然语言形式的语义矩阵，最后基于大型语言模型输出规划结果，本发明提供了基于大语言模型的端到端框架，本框架不需要额外训练，也不需要任何动作规划器。与现有技术相比，本发明具有无需动作规划器或额外训练、减小计算量的同时提高推导的准确性、空间感知能力强等优点。
主权项：1.一种基于拓扑语义地图提示的视觉语言导航规划方法，其特征在于，包括如下步骤：针对输入的指令信息，通过提取得到地标词汇；基于所述地标词汇和输入的无人机拍摄的图像信息，通过地标提取和分类，得到图像的2D语义掩码和对应的文本描述信息；通过计算向量化后的地标词汇和文本描述信息之间的相似度，对所述2D语义掩码进行简化；基于输入的无人机位置姿态信息和图像深度信息，将简化后的2D语义掩码投影到三维点云空间，形成拓扑后的鸟瞰视角的二维语义地图，更新预设的自然语言形式的语义矩阵；基于所述语义矩阵和所述文本描述信息，利用大型语言模型实现视觉语言导航规划。
全文数据：
权利要求：
百度查询： 上海人工智能创新中心 西北工业大学 基于拓扑语义地图提示的视觉语言导航规划方法和设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号