买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京亿猫信息技术有限公司

摘要：本发明公开了一种智能购物车商品退货识别方法及系统，属于物联网及人工智能技术领域。针对现有技术中存在的智能购物车无法在退货操作中兼顾准确安全和方便快捷的问题，本发明通过采集智能购物车监控区域内的图像信息，识别用户取出商品的行为，并通过识别标记、文字及图像特征的综合比对，识别退货商品信息，结合称重系统的重量变化信息，准确判断用户退货行为，经交互系统由用户确认退货，识别失败时才转为用户扫码退货。由于设置了商品信息识别的顺序以及图形特征比对的信息量，它可以实现退货操作的自动化，准确便捷地识别用户退货行为及退购的商品，且同时提高了算法的效率，提升用户体验并降低货损的风险。

主权项：1.一种智能购物车退货商品识别方法，步骤如下：图像采集设备持续监测H1平面，采集连续图像信息；使用手部关键点检测模型处理图像信息，获取手部的关键点；根据手部关键点确定包含手持物品的候选区域；使用边缘检测或色彩分割的图像处理技术，在候选区域内检测物品；若检测到物品，选择物品上的边缘或其他明显的特征作为物品特征点，同时，选择手部的关键点作为手部特征点；若未检测到物品，只选择手部的关键点作为特征点；对每一对连续图像，使用L-K方法计算物品特征点和手部特征点的光流；分析物品特征点光流矢量与地面垂直方向的组件，如果超过80%的物品特征点沿地面垂直方向向上运动，则表明在该连续图像中有物品向上移动；分析物品特征点移动的起始位置，判断物品移动是否开始于H1平面下方；若物品从H1平面下方开始移动且方向为沿地面垂直方向向上运动时，可以进一步确认该对连续图像中手部跟随物品向上移动；分析所有连续图像中物品及手部运动方式，若超过70%的判断结果为手部跟随物品向上移动，则确认该视频中有手持物品从H1平面以下持续稳定向上移动的行为，启动称重系统开始称重，称重持续A秒；若用户手持物品从H1平面以下向上运动后且称重系统连续监测A秒时间后确认重量减少，则确认用户从购物车中取出商品；采集智能购物车退货商品图像；提取退货商品图像中的识别标记；若提取到至少一个识别标记，综合相似度得分Z设置为1，返回该识别标记对应的商品信息及Z值，结束退货商品识别流程；若未提取到识别标记，则提取图像中的文字与该用户已加购的商品名称进行比对，文字比对相似度计算使用余弦相似度计算方法，得到文字比对相似度T，T取值范围为0-1；使用预训练的卷积神经网络提取退货商品图像和已加购的商品图像的深层特征，计算图形特征比对形似度P，P的取值范围为0-1；根据文字比对相似度T及图形特征比对形似度P，得到综合相似度得分Z： （1）文字权重为V，图形特征权重为U；U和V取值范围为[0，1]，且U+V=1；返回已购商品中对应最高Z值的商品信息以及该Z值，结束退货商品识别过程。

全文数据：

权利要求：

百度查询： 南京亿猫信息技术有限公司 智能购物车商品退货识别方法及系统