买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明公开了一种基于视频监控的临水预警方法及系统，获取视频流数据；对视频流中当前帧进行人员识别；对当前帧行人进行人员实时追踪；对追踪的行人进行落水行为识别，并在识别到落水行为后发出警报预警。对当前帧识别的行人进行人员实时追踪时，先设置置信度阈值，对当前帧的低于置信度阈值的检测框进行过滤，同时，对当前帧的检测框进行非最大值抑制；然后读取当前帧非最大值抑制后剩余的检测框的位置，并利用重识别神经网络提取这些检测框内的图像块的表观特征；利用卡尔曼滤波器预测追踪器在当前帧的运动状态即预测框的位置及大小，基于检测框内的图像块的表观特征，用检测框匹配追踪器。实现了临水行人的自动追踪及落水行为识别、预警。

主权项：1.基于视频监控的临水预警方法，其特征在于，按照以下步骤进行：步骤S1、获取视频流数据；步骤S2、对视频流中当前帧进行人员识别；步骤S3、对当前帧识别的行人进行人员实时追踪；步骤S4、对追踪的行人进行落水行为识别，并在识别到落水行为后发出警报进行预警；步骤S3还包括：利用卡尔曼滤波器预测追踪器在当前帧的运动状态即预测框的位置及大小；基于检测框内的图像块的表观特征，用检测框匹配追踪器，得到追踪器与检测框的匹配对；更新每个已匹配的追踪器的卡尔曼滤波器参数及保存的特征向量集，并利用未匹配上的追踪器进行目标消失、新目标出现的判断；利用未匹配上的检测框初始化新追踪器，每初始化一个新的追踪器，追踪器编号加1；基于检测框内的图像块的表观特征，用检测框匹配追踪器，得到追踪器与检测框的匹配对的具体实施过程如下：判断每个处于假设状态的追踪器的命中次数是否达到3，如是，则将该追踪器的状态转为确认状态，否则，保持该追踪器的状态为假设状态，每个追踪器的初始状态为假设状态，追踪器的命中次数初始为0，追踪器每匹配一次，其命中次数加1；判断是否存在处于确认状态的追踪器，如存在，则对处于确认状态的追踪器，按照各追踪器的更新后未匹配次数的值由小到大进行级联匹配；如不存在，则继续判断是否存在已初始化的追踪器，如存在已初始化的追踪器，则对该处于假设状态的追踪器进行交并比匹配；如不存在已初始化的追踪器，则利用未匹配上的检测框初始化新追踪器；对处于确认状态的追踪器，按照各追踪器的更新后未匹配次数的值由小到大进行级联匹配的具体实施过程如下：步骤S3421、计算各检测框特征向量即利用重识别神经网络提取的检测框图像块的表观特征与各追踪器已保存的特征向量集之间的损失矩阵C，损失矩阵C的大小为A×B，A为当前帧处于确认状态的追踪器数量，B为当前帧检测框数量，损失矩阵C的每个元素为单个追踪器与单个检测框的最小余弦距离；步骤S3422、计算损失矩阵C的每一行即每个追踪器对应的预测框位置与损失矩阵C每一列对应的检测框位置之间的马氏距离：先将检测框的x,y,w,h转换为x,y,r,h，其中w是指检测框宽度；而后对于每一个追踪器，也就是损失矩阵C中的每一行，按照下式计算对应预测框位置与每个检测框位置之间的马氏距离： 其中，di,j是第j个检测框位置与第i个预测框位置的马氏距离，lj是第j个检测框的位置，pi是第i个预测框的位置，第i个预测框的位置从追踪器的卡尔曼滤波器输出的运动状态中获取；代表第j个检测框位置与第i个预测框位置的协方差矩阵的逆，第j个检测框位置与第i个预测框位置的协方差矩阵使用第i个追踪器在当前帧的运动状态的方差Pk；第i个追踪器在当前帧的运动状态的方差Pk为：Pk＝APk-1AT+Q其中，Pk-1为第k-1帧即前一帧中检测框的估计误差，也即卡尔曼滤波器预测的追踪器在前一帧的运动状态的误差；Pk为第k帧即当前帧中检测框的估计误差，也即卡尔曼滤波器预测的追踪器在当前帧的运动状态的方差，A为状态转移矩阵，AT为矩阵A的转置，Q为系统误差；步骤S3423、根据损失矩阵C对各追踪器和检测框进行匹配，得到每个处于确认状态的追踪器与检测框的匹配对：步骤a、对于大小为A×B的损失矩阵C，将其补全为大小是maxA,B的方阵，补全采用元素值大于损失矩阵C中的元素最大值；步骤b、对于矩阵的每一行，减去其中的最小元素；步骤c、对于矩阵的每一列，减去其中的最小元素；步骤d、用最少的水平线及垂直线覆盖矩阵中所有的0；步骤e、如果覆盖矩阵中所有0所用的水平线以及垂直线的数量等于maxA,B，则找到了最优分配，最优匹配的匹配对中如果存在补全的行或列，或者最优匹配的匹配对对应的损失矩阵C的元素值大于余弦距离阈值，或者最优匹配的匹配对对应的损失矩阵C的元素值大于马氏距离阈值，则认为该匹配对对应的追踪器和检测框不匹配，从最优匹配中删除该匹配对，算法结束；如果覆盖矩阵中所有0所用的水平线以及垂直线的数量小于maxA,B，则进入步骤f；步骤f、找到没有被水平线或垂直线覆盖的最小元素，每个未被线完全覆盖的行减去这个最小元素，每个被线完全覆盖的列加上这个最小元素，返回步骤d；组合各级联匹配的结果，根据各级联匹配的结果得到未匹配的追踪器以及未匹配的检测框；对处于假设状态以及未匹配的追踪器与未匹配的检测框进行交并比匹配：计算每个处于假设状态以及未匹配的追踪器与每个未匹配的检测框的交并比距离，得到损失矩阵D，损失矩阵D的行数为所有处于假设状态以及未匹配的追踪器总数，损失矩阵D的列数为未匹配的检测框总数，损失矩阵D中每一行的元素为处于假设状态或未匹配的追踪器与每个未匹配的检测框的交并比距离；对处于假设状态以及未匹配的追踪器与未匹配的检测框进行匹配，匹配完成后，如果某个匹配对对应的损失矩阵D的元素值大于交并比距离阈值，则认为该追踪器与检测框不匹配，删除该匹配对。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于视频监控的临水预警方法及系统