买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司

摘要：本发明提供了一种用户选购商品识别方法、装置以及智能货架系统，其中的方法包括：获取在与货箱相对应的监控区域内采集的第一监控图像，对第一监控图像进行识别，获得识别结果，包括：用户身份信息；当确定商品重量减轻时，获得商品被拿起的时间，并确定被拿起的商品的信息，获得与被拿起的商品相对应的用户身份信息，并将用户身份信息与被拿起的商品的信息进行关联。本发明的方法、装置以及智能货架系统，实现选购商品的自动感知以及商品信息与用户身份的自动绑定；通过以智能货架为载体并能够自动感知顾客选购商品，节省了人工成本；识别快速并准确，提升了购物效率；并且商品与用户的绑定无需任何用户操作，可以提升购物体验。

主权项：1.一种用户选购商品识别方法，包括：检测货箱承载的商品重量；获取在与所述货箱相对应的监控区域内采集的第一监控图像，对所述第一监控图像进行识别，获得识别结果；其中，所述识别结果包括：用户身份信息；当确定所述商品重量减轻时，获得商品被拿起的时间，并基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息；基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息，并将所述用户身份信息与所述被拿起的商品的信息进行关联；其中，获取所述用户身份信息以及用户特征信息，建立所述用户特征信息与所述用户身份信息之间的身份特征关联关系；获取在购物场所中采集的第二监控图像，基于所述用户特征信息在所述第二监控图像中对所述用户进行定位，获得与所述用户相对应的跟踪轨迹；当确定所述用户特征信息发生变化时，基于新用户特征信息更新所述身份特征关联关系；基于所述商品被拿起的时间确定用户身份识别时段，获取与在所述用户身份识别时段内采集的所述第一监控图像相对应的识别结果，作为目标识别结果；如果所述目标识别结果中的所述用户身份信息为空值，则根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息。

全文数据：用户选购商品识别方法、装置以及智能货架系统技术领域[0001]本发明涉及自动售货技术领域，尤其涉及一种用户选购商品识别方法、装置以及智能货架系统。背景技术[0002]人工智能技术的发展给零售行业带来了巨大的革新，目前有多家无人店、无人超市等陆续开业。感知选购的商品并将商品与用户进行绑定，是整个购物流程中重要的两个环节。在传统的零售商店中，选购商品的感知和顾客的绑定通过售货员进行肉眼观察，依赖人工完成整个流程。在大型超市中，选购商品的感知可以通过扫条形码来实现，识别出商品种类的同时带出价格等信息，完成商品信息的获取。当前的无人店、无人超市等大多采用射频识别RadioFrequencyIdentification技术，用户选购商品后可以自动完成商品信息的获取以及商品与用户的绑定，提升了用户体验。[0003]但是，现有的对于感知选购的商品并将商品与用户进行绑定的技术方案存在缺陷:传统商店依赖人工，人力成本较高，且由于商品种类和价格靠人来记忆，扩充品类到较大规模比较困难;传统超市扫条形码，商品信息的存取由后台系统完成，但扫条形码的操作需要耗费人工，且效率低，容易在支付通道造成拥堵，整体用户体验差;Rfid解决方案实现了选购商品的自动感知和顾客绑定的自动化，但存在成本高的问题，另外，不同射频对商品介质的稳定性存在影响以及存在用户的恶意屏蔽等问题。发明内容[0004]本发明的一个或多个实施例提供一种用户选购商品识别方法、装置以及智能货架系统。[0005]根据本公开的一个方面，提供一种用户选购商品识别方法，包括:检测货箱承载的商品重量;获取在与所述货箱相对应的监控区域内采集的第一监控图像，对所述第一监控图像进行识别，获得识别结果;其中，所述识别结果包括:用户身份信息；当确定所述商品重量减轻时，获得商品被拿起的时间，并基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息;基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息，并将所述用户身份信息与所述被拿起的商品的信息进行关联。[0006]可选地，所述基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息包括:基于所述商品被拿起的时间确定用户身份识别时段;获取与在所述用户身份识别时段内采集的所述第一监控图像相对应的识别结果，作为目标识别结果;如果所述目标识别结果中的所述用户身份信息不为空值，则将所述目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。[0007]可选地，获取所述用户身份信息以及用户特征信息，建立所述用户特征信息与所述用户身份信息之间的身份特征关联关系；获取在购物场所中采集的第二监控图像，基于所述用户特征信息在所述第二监控图像中对所述用户进行定位，获得与所述用户相对应的跟踪轨迹;当确定所述用户特征信息发生变化时，基于新用户特征信息更新所述身份特征关联关系；如果所述目标识别结果中的所述用户身份信息为空值，则根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息。[0008]可选地，所述根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息包括:获取在所述身份识别时段内采集的所述第一监控图像，从所述第一监控图像中提取目标用户的用户特征信息;将所述目标用户的用户特征信息与所述身份特征关联关系中的所述用户特征信息进行匹配；如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。[0009]可选地，所述对所述第一监控图像进行识别、获得识别结果包括:获取所述用户身份信息以及用户人脸图像;从所述用户人脸图像中提取用户人脸特征，建立所述用户人脸特征与所述用户身份信息之间的人脸特征关联关系;从所述第一监控图像中提取人脸特征信息，计算所述人脸特征信息与所述人脸特征关联关系中的所述用户人脸特征的相似度；如果所述相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。[0010]可选地，获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息;根据所述编码信息与所述SKU信息建立所述货箱与商品的关联关系。[0011]可选地，所述基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息包括:确定所述商品重量减轻的货箱的编码信息，基于此编码信息以及所述货箱与商品的关联关系确定被拿起的商品的SKUfg息。[0012]可选地，所述基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息还包括:获取与商品的SKU信息对应的商品单位重量;基于所述商品单位重量以及所述商品重量的减小值确定被拿起的商品的数量信息。[0013]可选地，当确定所述商品重量增加时，获得所述商品重量的增加值;判断所述商品单位重量与所述商品重量的增加值是否匹配，如果否，则进行商品错放提示。[0014]可选地，识别所述第一监控图像中的用户的操作动作以及与所述操作动作对应的目标商品，其中，所述操作动作包括:取出动作、放回动作;获取所述目标商品的SKU信息以及所述目标商品被放回的目标货箱的编码信息;基于所述货箱与商品的关联关系判断所述目标商品的SKU信息与所述目标货箱的编码信息是否匹配;如果否，则进行商品错放提示。[0015]可选地，设置称重装置与所述货箱的编码信息的对应关系，其中，所述称重装置用于检测与其对应的货箱承载的商品重量；当基于所述称重装置发送的重量检测信号确定所述商品重量减轻或增加时，根据所述对应关系确定所述商品重量减轻或增加的货箱的编码信息以及所述商品重量的变化值。[0016]根据本公开的另一方面，提供一种用户选购商品识别装置，包括:重量检测模块，用于检测货箱承载的商品重量；图像识别模块，用于获取在与所述货箱相对应的监控区域内采集的第一监控图像，对所述第一监控图像进行识别，获得识别结果；其中，所述识别结果包括:用户身份信息;商品信息获取模块，用于当确定所述商品重量减轻时，获得商品被拿起的时间，并基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息；用户身份识别模块，用于基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息；用户与商品绑定模块，用于将所述用户身份信息与所述被拿起的商品的信息进行关联。[0017]可选地，所述用户身份识别模块，用于基于所述商品被拿起的时间确定用户身份识别时段;获取与在所述用户身份识别时段内采集的所述第一监控图像相对应的识别结果，作为目标识别结果;如果所述目标识别结果中的所述用户身份信息不为空值，则将所述目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。[0018]可选地，用户行为跟踪模块，用于获取所述用户身份信息以及用户特征信息，建立所述用户特征信息与所述用户身份信息之间的身份特征关联关系;获取在购物场所中采集的第二监控图像，基于所述用户特征信息在所述第二监控图像中对所述用户进行定位，获得与所述用户相对应的跟踪轨迹；当确定所述用户特征信息发生变化时，基于新用户特征信息更新所述身份特征关联关系;所述用户身份识别模块，还用于如果所述目标识别结果中的所述用户身份信息为空值，则根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息。[0019]可选地，所述用户身份识别模块，还用于获取在所述身份识别时段内采集的所述第一监控图像，从所述第一监控图像中提取目标用户的用户特征信息;将所述目标用户的用户特征信息与所述身份特征关联关系中的所述用户特征信息进行匹配;如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。[0020]可选地，所述图像识别模块，用于获取所述用户身份信息以及用户人脸图像;从所述用户人脸图像中提取用户人脸特征，建立所述用户人脸特征与所述用户身份信息之间的人脸特征关联关系;从所述第一监控图像中提取人脸特征信息，计算所述人脸特征信息与所述人脸特征关联关系中的所述用户人脸特征的相似度;如果所述相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。[0021]可选地，所述商品信息获取模块，用于获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息;根据所述编码信息与所述SKU信息建立所述货箱与商品的关联关系。[0022]可选地，所述商品信息获取模块，用于确定所述商品重量减轻的货箱的编码信息，基于此编码信息以及所述货箱与商品的关联关系确定被拿起的商品的SKU信息。[0023]可选地，所述商品信息获取模块，用于获取与商品的SKU信息对应的商品单位重量;基于所述商品单位重量以及所述商品重量的减小值确定被拿起的商品的数量信息。[0024]可选地，所述商品信息获取模块，用于当确定所述商品重量增加时，获得所述商品重量的增加值;判断所述商品单位重量与所述商品重量的增加值是否匹配，如果否，则进行商品错放提示。[0025]可选地，所述图像识别模块，用于识别所述第一监控图像中的用户的操作动作以及与所述操作动作对应的目标商品，其中，所述操作动作包括:取出动作、放回动作;获取所述目标商品的SKU信息以及所述目标商品被放回的目标货箱的编码信息;基于所述货箱与商品的关联关系判断所述目标商品的SKU信息与所述目标货箱的编码信息是否匹配;如果否，则进行商品错放提示。[0026]可选地，所述重量检测模块，用于设置称重装置与所述货箱的编码信息的对应关系，其中，所述称重装置用于检测与其对应的货箱承载的商品重量；当基于所述称重装置发送的重量检测彳目可确定所述商品重量减轻或增加时，根据所述对应关系确定所述商品重量减轻或增加的货箱的编码信息以及所述商品重量的变化值。[0027]根据本发明的又一方面，提供一种用户选购商品识别装置，包括:存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的用户选购商品识别方法。[0028]根据本发明的又一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现如上所述的方法的步骤。[0029]根据本发明的再一方面，提供一种智能货架系统，包括:如上所述的用户选购商品识别装置。[0030]可选地，包括:货架架体;在所述货架架体上放置至少一个用于承载商品的货箱；称重装置，用于检测所述货箱承载的商品重量;第一摄像装置，用于采集与所述货箱相对应的监控区域内的第一监控图像;所述用户选购商品识别装置，分别与所述称重装置和所述第一摄像装置电连接，用于获取所述第一监控图像以及所述称重装置发送的重量信号。[0031]可选地，包括:层板;所述层板放置在所述货架架体上，所述货箱放置在所述层板上;所述称重装置安装在所述层板上并位于所述货箱的下方，其中，所述称重装置与所述货箱对应设置。[0032]可选地，还包括:第二摄像装置，用于采集购物场所内的第二监控图像;所述用户选购商品识别装置，与所述第二摄像装置电连接，还用于获取所述第二监控图像。[0033]可选地，还包括:提示装置，与所述用户选购商品识别装置电连接，用于接收所述用户选购商品识别装置发送的商品错放提示信息并对用户进行提示。[0034]本公开的用户选购商品识别方法、装置以及智能货架系统，的用户选购商品识别方法1装置以及智能货架系统，检测货箱承载的商品重量，通过对在与货箱相对应的监控区域内采集的监控图像进行图像识别获得用户身份信息，当确定商品重量减轻时，确定被拿起的商品的信息并将用户身份信息与被拿起的商品的信息进行关联;通过结合传感器技术和图像识别技术，实现选购商品的自动感知以及商品信息与用户身份的自动绑定;通过以智能货架为载体并能够自动感知顾客选购商品，节省了人工成本;识别快速并准确，提升了购物效率;并且商品与用户的绑定无需任何用户操作，可以提升购物体验。附图说明[0035]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0036]图1为根据本公开的用户选购商品识别方法的一个实施例的流程示意图；[0037]图2为根据本公开的用户选购商品识别方法的一个实施例中的基于图像识别结果确定用户身份信息的流程示意图；[0038]图3为根据本公开的用户选购商品识别方法的一个实施例中的对监控图像进行识别的流程7F意图；[0039]图4为根据本公开的用户选购商品识别方法的一个实施例中的基于用户追踪确定用尸身份伯息的流程示意图；[0040]图5为根据本公开的用户选购商品识别装置的一个实施例的模块示意图；[0041]图6为根据本公开的用户选购商品识别装置的另一个实施例的模块示意图；[0042]图7A至7F为根据本公开的智能货架系统的一个实施例的示意图，其中，图7A为用户选购商品识别装置与其它部件的连接示意图，图7B、7C、7D分别为货架架体与货箱安装后的主视图、侧视图和立体图，图7E为货箱的示意图，图7F为货架架体与层板等的安装示意图。具体实施方式[0043]下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。[0044]下文中的“第一”、“第二”等仅用于描述上相区别，并没有其它特殊的含义。[0045]图1为根据本公开的用户选购商品识别方法的一个实施例的流程示意图，包括步骤101—104:[0046]步骤101，检测货箱承载的商品重量。[0047]货箱即为用于承载商品的售货箱等，货箱可以为多种。例如，在无人超市中摆放货架，货架上有一个或多个货箱，用于承载商品。货架中设置有一个或多个称重装置，用于测量相对应的货箱中承载的商品重量，一个称重装置可以测量一个或多个货箱承载的商品重量。称重装置可以通过重量传感器获取商品重量。[0048]步骤1〇2,获取在与货箱相对应的监控区域内采集的第一监控图像，对第一监控图像进行识别，获得识别结果。识别结果包括用户身份信息等，用户身份信息可以为用户ID等。[0049]将货箱之前或周边的区域作为与货箱相对应的监控区域，设置摄像机等设备采集在监控区域内的第一监控图像，通过第一监控图像可以获取用户对于此货架的取放商品等动作。对第一监控图像进行图像识别可以采用多种模型，例如可以采用预先训练好的多种神经网络模型等。[0050]步骤103,当确定商品重量减轻时，获得商品被拿起的时间，并基于商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息。[0051]步骤1〇4,基于商品被拿起的时间以及识别结果获得与被拿起的商品相对应的用户身份信息，并将用户身份信息与被拿起的商品的信息进行关联，通过结合传感器技术和图像识别技术，实现选购商品的自动感知以及商品信息与用户身份的自动绑定。[0052]在一个实施例中，基于商品被拿起的时间以及识别结果获得与被拿起的商品相对应的用户身份信息可以有多种。例如，图2为根据本公开的用户选购商品识别方法的一个实施例中的基于图像识别结构确定用户身份信息的流程示意图，包括步骤2〇1—203。[0053]步骤201，基于商品被拿起的时间确定用户身份识别时段。[0054]用户身份识别时段可以为商品被拿起时间的前、后若干秒之间的时间段。例如，当确定商品重量减轻时，获得商品被拿起的时间为10点0分〇秒，则用户身份识别时段为9点59分58秒与10点0分02秒之间的时间段。[0055]步骤202,获取与在用户身份识别时段内采集的第一监控图像相对应的识别结果，作为目标识别结果。例如，获取对于在9点59分58秒与10点0分〇2秒之间的第一监控图像的识别结果，作为目标识别结果。[0056]步骤2〇3，如果目标识别结果中的用户身份信息不为空值，则将目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。[0057]如果目标识别结果中的用户身份信息不为空值，则说明基于第一监控图像对于用户身份识别成功，如果目标识别结果中的用户身份信息为空值，则说明基于第一监控图像对于用户身份识别失败。[0058]图3为根据本公开的用户选购商品识别方法的一个实施例中的对监控图像进行识别的流程示意图，包括步骤301—304:[0059]步骤3〇1，获取用户身份信息以及用户人脸图像。[0060]步骤302,从用户人脸图像中提取用户人脸特征，建立用户人脸特征与用户身份信息之间的人脸特征关联关系。[0061]例如，用户在进入无人超市时，在超市门口进行身份验证并采集用户图像。如果身份验证成功，则获取用户身份信息（用户ID等），从采集的用户图像中提取用户人脸特征，建立用户人脸特征与用户身份信息之间的人脸特征关联关系。[0062]步骤303,从第一监控图像中提取人脸特征信息，计算人脸特征信息与人脸特征关联关系中的用户人脸特征的相似度。[0063]步骤304,如果相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。如果相似度小于或等于预设的阈值，则对于用户身份识别失败。[0064]通过摄像装置实时拍摄并实时从摄像装置中获取第一监控图像，每秒获取多张图片并分别调用人脸识别算法进行人脸识别，例如使用SIFT算法等进行人脸识别，将识别结果存入数据库。[0065]预先给每个货箱进行编码，确定货箱中摆放的商品以及商品摆放的位置。获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息，根据编码信息与SKU信息建立货箱与商品的关联关系。[0066]获取第一监控图像后，通过识别线程对第一监控图像进行人脸识别，将第一监控图像采集的时间以及识别结果、摄像头编号等存入数据库中。摄像头编号与货箱的编码信息相关联，根据用户身份识别时段和摄像头编号从数据库中可以获取目标识别结果。[0067]设置称重装置与货箱的编码信息的对应关系，称重装置用于检测与其对应的货箱承载的商品重量。当基于称重装置发送的重量检测信号确定商品重量减轻或增加时，根据对应关系确定商品重量减轻或增加的货箱的编码信息以及商品重量的变化值。[0068]确定商品重量减轻的货箱的编码信息，基于此编码信息以及货箱与商品的关联关系确定被拿起的商品的SKU信息。获取与商品的SKU信息对应的商品单位重量，基于商品单位重量以及商品重量的减小值确定被拿起的商品的数量信息。[0069]可以在初始化时，称重装置记录每个货箱中的重量，当商品被拿起或者放回后计算减少或者增加的重量，获取减少重量信息并将重量除以商品sku的单个重量就能算出拿起或者放回了多少个商品个数。[0070]当确定商品重量增加时，获得商品重量的增加值，判断商品单位重量与商品重量的增加值是否匹配，如果否，则进行商品错放提示。例如，货箱A中放置的商品A的单位重量为100克，当确定货箱A的重量增加了30克，则商品A单位重量与商品重量的增加值不匹配，则进行商品错放提示，可以通过播放提示语音或显示屏显示提示信息。[0071]识别第一监控图像中的用户的操作动作以及与操作动作对应的目标商品，操作动作包括取出动作、放回动作等。对于第一监控图像的识别可以采用预先训练好的神经网络模型，在训练阶段，可以采用标注了商品sku的图像数据以及取出动作、放回动作的图像数据进行训练。行为识别可以使用训练好的神经网络模型通过对用户手势的特征进行提取分析得出。[0072]通过图像识别可以获取目标商品的SKU信息以及目标商品被放回的目标货箱的编码信息。获取目标商品被放回的目标货箱的编码信息可以有多种方法，例如，可以通过图像识别确定目标货箱中原有的商品，进而确定原有商品的sku，基于原有商品的sku获得目标货箱的编码信息。基于货箱与商品的关联关系判断目标商品的SKU信息与目标货箱的编码信息是否匹配，如果否，则进行商品错放提示。[0073]图4为根据本公开的用户选购商品识别方法的一个实施例中的基于用户追踪确定用户身份信息的流程示意图，包括步骤301—303:[0074]步骤401，获取用户身份信息以及用户特征信息，建立用户特征信息与用户身份信息之间的身份特征关联关系。[0075]例如，用户在进入无人超市时，在入口处进行身份验证并采集用户图像。如果身份验证成功，则获取用户身份信息用户ID等），并从采集的用户图像中提取用户特征信息，用户特征信息包括:衣着样式、衣着颜色、形体特点等。[0076]步骤402,获取在购物场所中采集的第二监控图像，基于用户特征信息在第二监控图像中对用户进行定位，获得与用户相对应的跟踪轨迹。[0077]步骤403,当确定用户特征信息发生变化时，基于新用户特征信息更新身份特征关联关系。[0078]购物场所包括购物区域以及走廊等区域，采用目标跟踪算法基于用户的衣着样式、衣着颜色、形体特点等在第二监控图像中对用户进行定位，获取用户的跟踪轨迹，即用户的行动轨迹。跟踪算法可以有多种，例如为KCF算法等。如果用户的特征信息发生变换，例如，用户脱下外衣、带上口罩等，则确定用户的新用户特征信息，基于新用户特征信息更新身份特征关联关系。[0079]步骤4〇4,如果目标识别结果中的用户身份信息为空值，则根据身份识别时段以及身份特征关联关系确定与被拿起的商品相对应的用户身份信息。[00S0]例如，用户在进入无人超市后带上口罩，基于第一监控图像对用户身份进行识别失败，则目标识别结果中的用户身份信息为空值。当进行用户身份信息与被拿起的商品的信息进行关联时，目标识别结果中的用户身份信息为空值，则获取在身份识别时段内采集的第一监控图像，从第一监控图像中提取目标用户的用户特征信息。将目标用户的用户特征信息与身份特征关联关系中的用户特征信息进行匹配，此时的用户特征信息为实时更新的新用户特征，如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。[0081]在一个实施例中，当用户A进入无人超市时，根据人脸识别技术对用户A进行识别，如果确定用户A为合法用户则验证成功，获取的用户身份信息为用户10。建立用户A的用户人脸特征与用户身份信息之间的人脸特征关联关系。提取用户A的衣着样式、衣着颜色、形体特征等作为用户特征信息，建立用户特征信息与用户身份信息之间的身份特征关联关系D[0082]使用目标跟踪算法对用户A的用户特征信息上衣颜色、头尖等特征进行跟踪分析，实时更新用户A的用户特征信息。用户A来到货箱A前，摄像头获取到第一监控图像后进行人脸识别，识别出用户A后把用户A的用户id和当前时间以及摄像头信息存储到库中。[0083]当用户A拿起货箱A中的商品后，根据称重装置中的重量传感器发送的信号确定重量减轻，根据当前时间往前推3s设定开始时间，往后推2s设定为结束时间，设置用户身份识别时段。查询数据库中存储的、在用户身份识别时段内的数据，获取用户A的用户ID，根据货箱A确定其承载的商品sku，该sku有固定的重量，根据重量减轻值除以固定的重量计算出用户A所拿的商品个数，把用户A的用户ID和商品sku以及用户A所拿的商品个数进行绑定。[0084]如果基于第一监控图像未能识别出用户的身份，根据在用户身份识别时段内采集的第一监控图像以及用户A的新用户特征信息确认出用户A，进而确定用户A的ID，则把用户A的用户ID和商品sku以及用户A所拿的商品个数进行绑定，从而实现即拿即走的售货模式。[0085]在一个实施例中，本公开提供一种用户选购商品识别装置50,包括:重量检测模块51、图像识别模块52、商品信息获取模块53、用户身份识别模块54、用户与商品绑定模块55和用户行为跟踪模块56。[0086]重量检测模块51检测货箱承载的商品重量。图像识别模块52获取在与货箱相对应的监控区域内采集的第一监控图像，对第一监控图像进行识别，获得识别结果，识别结果包括：用户身份信息等。当确定商品重量减轻时，商品信息获取模块53获得商品被拿起的时间，并基于商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息。用户身份识别模块54基于商品被拿起的时间以及识别结果获得与被拿起的商品相对应的用户身份信息。用户与商品绑定模块55将用户身份信息与被拿起的商品的信息进行关联。[0087]在一个实施例中，用户身份识别模块54基于商品被拿起的时间确定用户身份识别时段。用户身份识别模块54获取与在用户身份识别时段内采集的第一监控图像相对应的识别结果，作为目标识别结果。如果目标识别结果中的用户身份信息不为空值，则用户身份识别模块54将目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。[0088]用户行为跟踪模块56获取用户身份信息以及用户特征信息，建立用户特征信息与用户身份信息之间的身份特征关联关系。用户行为跟踪模块56获取在购物场所中采集的第二监控图像，基于用户特征信息在第二监控图像中对用户进行定位，获得与用户相对应的跟踪轨迹。当确定用户特征信息发生变化时，用户行为跟踪模块56基于新用户特征信息更新身份特征关联关系。如果目标识别结果中的用户身份信息为空值，则用户身份识别模块54根据身份识别时段以及身份特征关联关系确定与被拿起的商品相对应的用户身份信息。[0089]用户身份识别模块54获取在身份识别时段内采集的第一监控图像，从第一监控图像中提取目标用户的用户特征信息。用户身份识别模块54将目标用户的用户特征信息与身份特征关联关系中的用户特征信息进行匹配。如果匹配成功，则用户身份识别模块54将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。[0090]在一个实施例中，图像识别模块52获取用户身份信息以及用户人脸图像。图像识别模块52从用户人脸图像中提取用户人脸特征，建立用户人脸特征与用户身份信息之间的人脸特征关联关系。图像识别模块52从第一监控图像中提取人脸特征信息，计算人脸特征信息与人脸特征关联关系中的用户人脸特征的相似度。如果相似度大于预设的阈值，则图像识别模块52将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。[0091]图像识别模块52识别第一监控图像中的用户的操作动作以及与操作动作对应的目标商品，其中，操作动作包括取出动作、放回动作等。图像识别模块52获取目标商品的SKU信息以及目标商品被放回的目标货箱的编码信息。图像识别模块52基于货箱与商品的关联关系判断目标商品的SKU信息与目标货箱的编码信息是否匹配，如果否，则进行商品错放提不。[0092]在一个实施例中，重量检测模块51设置称重装置与货箱的编码信息的对应关系，称重装置用于检测与其对应的货箱承载的商品重量。当基于称重装置发送的重量检测信号确定商品重量减轻或增加时，重量检测模块51根据对应关系确定商品重量减轻或增加的货箱的编码信息以及商品重量的变化值。[0093]商品信息获取模块53获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息。根据编码信息与SKU信息建立货箱与商品的关联关系。商品信息获取模块53确定商品重量减轻的货箱的编码信息，基于此编码信息以及货箱与商品的关联关系确定被拿起的商品的SKU信息。商品信息获取模块53获取与商品的SKU信息对应的商品单位重量，基于商品单位重量以及商品重量的减小值确定被拿起的商品的数量信息。[0094]当确定商品重量增加时，商品信息获取模块53获得商品重量的增加值，判断商品单位重量与商品重量的增加值是否匹配，如果否，则进行商品错放提示。[0095]图6为根据本公开的用户选购商品识别装置的另一个实施例的模块示意图，如图6所示，该装置可包括存储器61、处理器62、通信接口63以及总线64。存储器61用于存储指令，处理器62耦合到存储器61，处理器62被配置为基于存储器61存储的指令执行实现上述的用户选购商品识别方法。[0096]存储器61可以为尚速RAM存储器、非易失性存储器NoN-volatilememory等，存储器61也可以是存储器阵列。存储器61还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器62可以为中央处理器CPU，或专用集成电路ASICApplicationSpecificIntegratedCircuit，或者是被配置成实施本发明公开的用户选购商品识别方法的一个或多个集成电路。[0097]在一个实施例中，本公开还提供一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一实施例涉及的用户选购商品识别方法。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等上实施的计算机程序产品的形式。[0098]本公开是参照根据本公开实施例的方法、设备系统和计算机程序产品的流程图和或方框图来描述的。应理解可由计算机程序指令实现流程图和或方框图中的每一流程和或方框以及流程图和或方框图中的流程和或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和或方框图一个方框或多个方框中指定的功能的装置。[00"]在一个实施例中，如图7A至7F所示，本公开提供一种智能货架系统，包括:货架架体751，货架架体751包括货架边框、货架支架等。在货架架体HI上放置至少一个用于承载商品的货箱752,货箱752可以为多种形状的售货箱。货箱乃2的材质可以为塑料等，例如货箱752由亚克力板制成。[0100]称重装置754检测货箱乃2承载的商品重量。第一摄像装置采集乃与货箱752相对应的监控区域内的第一监控图像，第一摄像装置可以摄像头、摄像机等。用户选购商品识别装置71分别与称重装置72和第一摄像装置73电连接，用于获取第一监控图像和称重装置发送的重量信号，通过对第一监控图像进行识别获得用户身份信息，将用户身份信息与货箱中被拿起的商品的伯息进彳丁关联。[0101]层板755放置在货架架体751上，货箱752放置在层板755上，称重装置754安装在层板753上并位于货箱的下方，称重装置754与货箱752对应设置。每种商品放在一个货箱752中，与其对应的一个称重装置754获取货箱752承载的商品重量。[0102]称重安装部件755设置在层板753与货箱752之间，并且与层板752固定连接，可以为螺纹连接、卡扣连接等。称重装置754固定安装在称重安装部件755上。称重安装部件755可以为多种结构，例如称重安装部件755呈工字形结构。将称重装置754固定在工字型的称重安装部件755内部，可以通过螺丝固定，称重安装部件755设置在与货箱752相对应的位置。[0103]在一个实施例中，称重装置乃4包括重量传感器，重量传感器与用户选购商品识别装置71连接。重量传感器可以通过4Sf5总线等与用户选购商品识别装置71连接，检测货箱752承载的商品重量，将重量检测信号发送给用户选购商品识别装置71。[0104]第二摄像装置74采集购物场所内的第二监控图像，购物场所包括售货区域、走廊、通道等区域，第二摄像装置74可以为摄像机、摄像头等。用户选购商品识别装置71与第二摄像装置74电连接，基于在第二监控图像中对用户进行定位，获得与用户相对应的跟踪轨迹以及新用户特征信息，基于新用户特征信息确定与被拿起的商品相对应的用户身份信息。[0105]提示装置76与用户选购商品识别装置n电连接，用于接收用户选购商品识别装置71发送的商品错放提示信息并对用户进行提示。提示装置76包括显示器、扬声器等，可以通过声音或文字信息等提示用户放错了商品。[0106]上述实施例中的用户选购商品识别方法、装置以及智能货架系统，检测货箱承载的商品重量，通过对在与货箱相对应的监控区域内采集的监控图像进行图像识别获得用户身份信息，当确定商品重量减轻时，确定被拿起的商品的信息并将用户身份信息与被拿起的商品的信息进行关联;通过结合传感器技术和图像识别技术，实现选购商品的自动感知以及商品信息与用户身份的自动绑定，解决零售商店中选购商品的自动感知以及商品与顾客绑定的问题;通过以智能货架为载体并能够自动感知顾客选购商品，节省人工成本，识别快速并准确，提升了购物效率;并且商品与用户的绑定无需任何用户操作，可以提升购物体验。[0107]可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。[0108]本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

权利要求：1.一种用户选购商品识别方法，包括：检测货箱承载的商品重量；获取在与所述货箱相对应的监控区域内采集的第一监控图像，对所述第一监控图像进行识别，获得识别结果;其中，所述识别结果包括:用户身份信息；当确定所述商品重量减轻时，获得商品被拿起的时间，并基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息；基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息，并将所述用户身份信息与所述被拿起的商品的信息进行关联。2.如权利要求1所述的方法，其中，所述基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息包括：基于所述商品被拿起的时间确定用户身份识别时段；获取与在所述用户身份识别时段内采集的所述第一监控图像相对应的识别结果，作为目标识别结果；如果所述目标识别结果中的所述用户身份信息不为空值，则将所述目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。3.如权利要求2所述的方法，还包括：获取所述用户身份信息以及用户特征信息，建立所述用户特征信息与所述用户身份信息之间的身份特征关联关系；获取在购物场所中采集的第二监控图像，基于所述用户特征信息在所述第二监控图像中对所述用户进行定位，获得与所述用户相对应的跟踪轨迹；当确定所述用户特征信息发生变化时，基于新用户特征信息更新所述身份特征关联关系；如果所述目标识别结果中的所述用户身份信息为空值，则根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息。4.如权利要求3所述的方法，其中，所述根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息包括：获取在所述身份识别时段内采集的所述第一监控图像，从所述第一监控图像中提取目标用户的用户特征信息；将所述目标用户的用户特征信息与所述身份特征关联关系中的所述用户特征信肩、进行匹配；如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。5.如权利要求1所述的方法，其中，所述对所述第一监控图像进行识别、获得识别结果包括：获取所述用户身份信息以及用户人脸图像；从所述用户人脸图像中提取用户人脸特征，建立所述用户人脸特征与所述用户身份信息之间的人脸特征关联关系；从所述第一监控图像中提取人脸特征信息，计算所述人脸特征信息与所述人脸特征关联关系中的所述用户人脸特征的相似度；如果所述相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。6.如权利要求1所述的方法，还包括：获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息；根据所述编码信息与所述SKU信息建立所述货箱与商品的关联关系。7.如权利要求6所述的方法，其中，所述基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息包括：确定所述商品重量减轻的货箱的编码信息，基于此编码信息以及所述货箱与商品的关联关系确定被拿起的商品的SKU信息。8.如权利要求6或7所述的方法，其中，所述基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息还包括：获取与商品的SKU信息对应的商品单位重量；基于所述商品单位重量以及所述商品重量的减小值确定被拿起的商品的数量信息。9.如权利要求8所述的方法，还包括：当确定所述商品重量增加时，获得所述商品重量的增加值；判断所述商品单位重量与所述商品重量的增加值是否匹配，如果否，则进行商品错放提示。10.如权利要求6所述的方法，还包括：识别所述第一监控图像中的用户的操作动作以及与所述操作动作对应的目标商品，其中，所述操作动作包括:取出动作、放回动作；获取所述目标商品的SKU信息以及所述目标商品被放回的目标货箱的编码信息；基于所述货箱与商品的关联关系判断所述目标商品的SKU信息与所述目标货箱的编码信息是否匹配；如果否，则进行商品错放提示。11.如权利要求1所述的方法，还包括：设置称重装置与所述货箱的编码信息的对应关系，其中，所述称重装置用于检测与其对应的货箱承载的商品重量；当基于所述称重装置发送的重量检测信号确定所述商品重量减轻或增加时，根据所述对应关系确定所述商品重量减轻或增加的货箱的编码信息以及所述商品重量的变化值。12.—种用户选购商品识别装置，包括：重量检测模块，用于检测货箱承载的商品重量；图像识别模块，用于获取在与所述货箱相对应的监控区域内采集的第一监控图像，对所述第一监控图像进行识别，获得识别结果;其中，所述识别结果包括:用户身份信息；商品信息获取模块，用于当确定所述商品重量减轻时，获得商品被拿起的时间，并基于所述商品重量的变化值以及货箱与商品的关联关系确定被拿起的商品的信息；用户身份识别模块，用于基于所述商品被拿起的时间以及所述识别结果获得与被拿起的商品相对应的用户身份信息；用户与商品绑定模块，用于将所述用户身份信息与所述被拿起的商品的信息进行关联。13.如权利要求12所述的装置，其中，所述用户身份识别模块，用于基于所述商品被拿起的时间确定用户身份识别时段;获取与在所述用户身份识别时段内采集的所述第一监控图像相对应的识别结果，作为目标识别结果;如果所述目标识别结果中的所述用户身份信息不为空值，则将所述目标识别结果中的用户身份信息作为与被拿起的商品相对应的用户身份信息。14.如权利要求13所述的装置，还包括：用户行为跟踪模块，用于获取所述用户身份信息以及用户特征信息，建立所述用户特征信息与所述用户身份信息之间的身份特征关联关系;获取在购物场所中采集的第二监控图像，基于所述用户特征信息在所述第二监控图像中对所述用户进行定位，获得与所述用户相对应的跟踪轨迹；当确定所述用户特征信息发生变化时，基于新用户特征信息更新所述身份特征关联关系；所述用户身份识别模块，还用于如果所述目标识别结果中的所述用户身份信息为空值，则根据所述身份识别时段以及所述身份特征关联关系确定与被拿起的商品相对应的用户身份信息。15.如权利要求14所述的装置，其中，所述用户身份识别模块，还用于获取在所述身份识别时段内采集的所述第一监控图像，从所述第一监控图像中提取目标用户的用户特征信息;将所述目标用户的用户特征信息与所述身份特征关联关系中的所述用户特征信息进行匹配;如果匹配成功，则将此身份特征关联关系中的用户身份信息作为与被拿起的商品相对应的用户身份信息。16.如权利要求12所述的装置，其中，所述图像识别模块，用于获取所述用户身份信息以及用户人脸图像;从所述用户人脸图像中提取用户人脸特征，建立所述用户人脸特征与所述用户身份信息之间的人脸特征关联关系;从所述第一监控图像中提取人脸特征信息，计算所述人脸特征信息与所述人脸特征关联关系中的所述用户人脸特征的相似度;如果所述相似度大于预设的阈值，则将此人脸特征关联关系中的用户身份信息作为与此第一监控图像相对应的识别结果中的用户身份信息。17.如权利要求12所述的装置，其中，所述商品信息获取模块，用于获取货箱的编码信息以及在此货箱上所放置的商品的SKU信息;根据所述编码信息与所述SKU信息建立所述货箱与商品的关联关系。18.如权利要求17所述的装置，其中，所述商品信息获取模块，用于确定所述商品重量减轻的货箱的编码信息，基于此编码信息以及所述货箱与商品的关联关系确定被拿起的商品的SKU信息。19.如权利要求17所述的装置，其中，所述商品信息获取模块，用于获取与商品的SKU信息对应的商品单位重量;基于所述商品单位重量以及所述商品重量的减小值确定被拿起的商品的数量信息。20.如权利要求19所述的装置，其中，所述商品信息获取模块，用于当确定所述商品重量增加时，获得所述商品重量的增加值;判断所述商品单位重量与所述商品重量的增加值是否匹配，如果否，则进行商品错放提J、〇21.如权利要求17所述的装置，其中，所述图像识别模块，用于识别所述第一监控图像中的用户的操作动作以及与所述操作动作对应的目标商品，其中，所述操作动作包括:取出动作、放回动作;获取所述目标商品的SKU信息以及所述目标商品被放回的目标货箱的编码信息;基于所述货箱与商品的关联关系判断所述目标商品的SKU信息与所述目标货箱的编码信息是否匹配;如果否，则进行商品错放提不。22.如权利要求12所述的装置，其中，所述重量检测模块，用于设置称重装置与所述货箱的编码信息的对应关系，其中，所述称重装置用于检测与其对应的货箱承载的商品重量；当基于所述称重装置发送的重量检测信号确定所述商品重量减轻或增加时，根据所述对应关系确定所述商品重量减轻或增加的货箱的编码信息以及所述商品重量的变化值。23.—种用户选购商品识别装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至11中任一项所述的用户选购商品识别方法。24.—种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现权利要求1至11任意一项所述的方法的步骤。25.—种智能货架系统，包括：如权利要求23所述的用户选购商品识别装置。26.如权利要求25所述的智能货架系统，其特征在于，包括：货架架体;在所述货架架体上放置至少一个用于承载商品的货箱；称重装置，用于检测所述货箱承载的商品重量；第一摄像装置，用于采集与所述货箱相对应的监控区域内的第一监控图像；所述用户选购商品识别装置，分别与所述称重装置和所述第一摄像装置电连接，用于获取所述第一监控图像以及所述称重装置发送的重量信号。27.如权利要求26所述的智能货架系统，还包括：层板;所述层板放置在所述货架架体上，所述货箱放置在所述层板上；所述称重装置安装在所述层板上并位于所述货箱的下方，其中，所述称重装置与所述货箱对应设置。28.如权利要求26所述智能货架系统，还包括：第二摄像装置，用于采集购物场所内的第二监控图像；所述用户选购商品识别装置，与所述第二摄像装置电连接，还用于获取所述第二监控图像。29.如权利要求26所述的智能货架系统，还包括：提示装置，与所述用户选购商品识别装置电连接，用于接收所述用户选购商品识别装置发送的商品错放提示信息并对用户进行提示。

百度查询： 北京京东尚科信息技术有限公司 北京京东世纪贸易有限公司 用户选购商品识别方法、装置以及智能货架系统