买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：复旦大学

申请日：2020-07-24

公开（公告）日：2022-08-19

公开（公告）号：CN111967336B

专利技术分类：.在视频内容中（提取叠加文本 G06V20/62）（视频检索 G06F16/70）（在视频服务器中处理视频基本流H04N21/234）（在视频客户端中处理视频基本流H04N21/44）[2022.01]

专利摘要：本发明属于视频分析与理解技术领域，具体为一种视觉关系检测的关系片段连接方法。本发明针对视频视觉关系检测这一任务中极易出现的物体轨迹检测不准确与关系片段预测不准确的问题，采用多假设的思想，通过建立树的结构保留关系片段间多种可能的连接方式，然后利用前后文的信息来进行各个连接方式间的选择和处理。本发明对物体轨迹检测模型与关系预测模型的偏差提供了较好的包容性，能够实现在关系片段连接的步骤中消除一部分模型效果不佳带来的影响，从而得到更为准确的完整视觉关系的检测结果。

专利权项：1.一种视频视觉关系检测的关系片段连接方法，其特征在于，通过建立树的结构，保留关系片段间多种可能的连接方式，然后利用前后文的信息来进行各个连接方式间的选择和处理；所述的关系片段连接方法；其中，本发明采用了树的结构来进行关系片段的连接；其中，所述树结构中，每个节点代表一个关系片段，包含：关系主语、谓语和宾语的三元组、主语和宾语的轨迹片段以及预测的置信分数；树的每一层代表一个视频片段，在该层中的每个节点都为该视频片段中检测出的关系片段；每棵树构建一个视觉关系的所有可能连接方式，从根节点到叶子节点的一条路径即代表一种可能的连接构成，即一种连接假设；在多假设连接的过程中，视频片段会按照时间顺序被依次输入和处理，即每一处理周期中，由之前视频片段构建的多假设树用当前视频片段中的关系片段来更新；多假设连接方法的每一处理周期中，依次通过如下三个操作：连接筛选、假设计分、树枝修剪：连接筛选，即每棵树的每个叶子节点都要从当前视频片段中选择所有可以连接的关系片段进行连接，构成新的叶子节点，也即向现有树上添加新的待连接关系片段；假设计分，即对当前每棵树中的每个连接假设进行置信分数的计算，即确定各个假设的可信度；树枝修剪，即根据现有信息对树进行剪枝，去掉已可以判定为低可信度的假设；所述的连接筛选，具体操作步骤如下：步骤1：每棵树的每个叶子节点选取所有满足条件的待连接关系片段进行连接，构成新的叶子节点；这里，所述选取所有满足条件的待连接关系片段进行连接，其连接条件为关系三元组相同、且主语连接分数和谓语连接分数都大于阈值；主语和谓语连接分数的计算公式设计如下：scon,s＝α·vIoUs+β·ssscon,o＝α·vIoUo+β·sovIoU的定义为两个轨迹的时间重合区间里每一帧上的IoU之和，vIoUs和vIoUo分别计算待连接关系片段和叶子节点间主语和宾语轨迹的vIoU，而ss和so为待连接关系片段中主语和谓语标签预测的置信分数，α和β为超参数；步骤2：将未被任何叶子节点选择的关系片段作为根节点生成新的树；所述的假设计分，具体操作步骤如下：步骤1：遍历当前每棵树中的每个连接假设，对它们进行置信分数的计算；置信分数的计算公式设计如下： spath＝AVGsrel其中，srel为每个节点的节点分数，它是上一步骤中的两个连接分数以及谓语预测置信分数sp的加权平均值，γ为超参数，根节点由于无法计算连接分数，所以其节点分数设置为其关系三元组的总预测置信分数，即ss*so*sp10f，f为缩放因子，用于保证计算出的根节点的节点分数的数量级与其他节点相同，spath是树中的每个连接假设的分数，即每条从根节点到叶子节点的路径的分数，由路径中经过的每个节点分数取平均而得，用于表示该连接假设的可信度；AVG表示取平均值的函数操作。

百度查询： 复旦大学 视频视觉关系检测的关系片段连接方法