龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：上海蜜度数字科技有限公司
摘要：本申请实施例提供了一种人物动作检测方法、设备及计算机可读介质，该方案再整个检测过程中，不仅仅利用了各个视频帧所包含的图像信息，还将其与视频特征、人物掩码特征以及动作的文本语义特征等其它模态的信息进行了有效的融合，使得用于进行特征判断的特征信息能够更好的表达出人物动作所对应的内在信息，进而提升检测结果的准确性，使得本方案能够更加准确地理解视频中的人物动作。
主权项：1.一种人物动作检测方法，其特征在于，所述方法包括：根据输入视频生成对应的视频特征矩阵，所述视频特征矩阵的形状为K，X，K与所述输入视频的帧数以及分辨率正相关，X为特征的嵌入维度；对所述输入视频进行拆帧处理，获取多个视频帧，并根据所述多个视频帧生成对应的帧特征矩阵，所述帧特征矩阵的形状为M，X，M为拆帧处理得到的视频帧的数量；对每个视频帧进行人物分割处理，获得所述视频帧对应的人物分割掩码图，并根据所述人物分割掩码图生成对应的人物掩码特征矩阵，所述人物掩码特征矩阵的形状为N，X，N为拆帧处理得到的M个视频帧中包含人物图像的视频帧的数量；根据待检测的动作文本集合生成对应的动作类别特征矩阵，所述动作类别特征矩阵的形状为Q，X，Q为所述动作文本集合中包含的人物动作的类别数量；根据所述视频特征矩阵、帧特征矩阵以及人物掩码特征矩阵，计算获得关于所述视频特征的权重矩阵，所述权重矩阵的形状为K，N；根据所述权重矩阵与所述视频特征矩阵，计算获得加权视频特征矩阵，所述加权视频特征矩阵的形状为N，X；将所述加权视频特征矩阵与所述动作类别特征矩阵进行特征融合，获得加权动作类别特征矩阵，所述加权动作类别特征矩阵的形状为Q，X；将所述加权视频特征矩阵与所述加权动作类别特征矩阵进行拼接后，输入至动作识别模型，获取人物视觉特征矩阵，所述人物视觉特征矩阵的形状为N，X；根据所述人物视觉特征矩阵与加权动作类别特征矩阵，计算获得人物动作矩阵，所述人物动作矩阵的形状为N，Q，所述人物动作矩阵中的元素n，q表示第n个视频帧中包含第q种人物动作的概率；根据所述人物动作矩阵，确定所述输入视频中的人物动作。
全文数据：
权利要求：
百度查询： 上海蜜度数字科技有限公司 人物动作检测方法、设备及计算机可读介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号