龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京理工大学
摘要：本发明涉及一种基于事件相机的少样本细粒度动作识别方法，属于计算机视觉和人工智能技术领域。该方法包括步骤1、将RGB帧和异步事件流对齐；步骤2、将步骤1对齐后的数据同时进行运动和语义特征学习；步骤3、将步骤2训练完毕的事件特征提取器替换进现有的基于RGB的少样本算法进行细粒度动作识别。本发明达到了可以提高识别准确性，优化了复杂环境适应性，提高了少样本学习效率和效果，减少了数据需求和处理时间的效果。
主权项：1.一种基于事件相机的少样本细粒度动作识别方法，其特征在于，包括以下步骤：步骤1、将RGB帧和异步事件流对齐；通过将异步事件流与RGB帧的对应时间段对齐，将异步事件流转换为T个同步事件帧根据RGB帧的曝光时间Δs将异步事件流ε转换为同步事件帧；需要注意的是，异步事件流ε的时间跨度为ΔsT；首先使用事件表示将ε转换为B通道的事件体积v，具体转换方式如下： 其中Rs对输入时间戳s进行归一化，Kba是具有变量a的双线性插值函数，是第x行、第y列和第b通道的值；然后，将事件体积V均匀分成T个连续块，得到同步事件帧步骤2、将步骤1对齐后的数据同时进行运动和语义特征学习；使用预训练的CLIP图像编码器Eclip·和预训练的VideoFlow编码器Evif·提取RGB帧特征，监督事件特征提取器Eevt·，其中包括语义和运动特征学习损失和步骤3、将步骤2训练完毕的事件特征提取器替换进现有的基于RGB的少样本算法进行细粒度动作识别；遵循现有少样本细粒度人体动作识别方法Shi等人，将它的默认图像编码器替换为上述步骤训练好的事件特征提取器；具体来说，首先使用CLIP文本编码器从动作文本中提取动作语义，然后用一个前馈网络对提取的事件特征进行微调，并计算提取的文本特征与精细化后的事件特征之间的语义相似性，以对细粒度人体动作进行分类；在实验部分，还将事件特征提取器与其他少样本细粒度人体动作识别方法相结合，以展示事件特征提取器的有效性。
全文数据：
权利要求：
百度查询： 北京理工大学 一种基于事件相机的少样本细粒度动作识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号