龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明公开了一种唇语识别及语义理解系统，涉及自然语言处理技术领域，包括文本特征提取模块、唇语视频特征提取模块和大语言模型解码模块，文本特征提取模块、唇语视频特征提取模块分别和大语言模型解码模块通信连接；本发明还公开了一种唇语识别及语义理解方法，包括：S100、文本融合特征提取，S200、唇语视频特征提取，S300、语义理解，步骤S100和步骤S200为并列关系。本发明能够在不同场景、不同人群中得到广泛应用，满足多样化的实际需求，推动了唇语识别技术的发展。
主权项：1.一种唇语识别及语义理解系统，其特征在于，包括：文本特征提取模块，接收问题文本的输入，对所述问题文本进行预处理，获取文本嵌入特征、位置嵌入特征和语义嵌入特征，并进行拼接得到文本融合特征；唇语视频特征提取模块，接收唇语视频的输入，对所述唇语视频进行预处理和编码，提取唇语视频特征；大语言模型解码模块，将所述文本融合特征和所述唇语视频特征进行拼接融合，获得特征集合，通过大语言模型对所述特征集合进行解码，得到对所述唇语视频的语义理解的结果；所述文本特征提取模块、所述唇语视频特征提取模块分别和所述大语言模型解码模块通信连接；响应于所述问题文本的输入，所述文本特征提取模块对所述问题文本进行预处理和特征拼接，得到文本融合特征；响应于所述唇语视频的输入，所述唇语视频特征提取模块对所述唇语视频进行初始化和编码，提取唇语视频特征；所述文本融合特征和所述唇语视频特征输入到所述大语言模型解码模块进行特征解码，得到对所述唇语视频的语义理解的结果。
全文数据：
权利要求：
百度查询： 上海交通大学宁波人工智能研究院 一种唇语识别及语义理解系统和方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号