随着消费趋势和竞争格局的不断变化,便利店的终端模式创新、商品组合方式、业务延伸途径、数字化程度、供应链管理的创新以及便利店的拓展等都有待革新,便利商店逐渐向智能化、网络化的方向发展。目前,一般商店都会有售货员或者收银员,通过售货员或者收银员来结算用户购买的商品。然而,当购买商品的用户数量较多时,往往都需要排队,以至于用需要花费较长的时间结账,此外,还需提供售货员或者收银员的人工成本。现有的无人商店系统都需要在入口或者出口处设立门禁,用户在进入或者离开商店的时候需要在门禁处等待一段时间进行人脸识别,人脸识别成功顾客才能进入商店进行购物,门口设立门禁增加了硬件装置需要更多的财力,同时耗费了顾客的时间。本文通过对现实中无人商店系统进行需求分析,设计并实现了无人商店场景下的视觉捕捉与追踪系统架构。该架构可以分为拿取放回判断、商品类型识别、建立商品与人的关系、识别人的身份四个部分,可以在通用的x86-64架构的计算机上运行。在拿取放回判断功能模块中,本文训练了动作判别模型和目标检测模型。动作判别模型通过对视频逐帧检测的方法,可以找到视频中发生拿取放回动作的关键帧。目标检测模型可以检测关键帧前后顾客手中是否有商品,以此来判断是拿取动作还是放回动作。在商品类型识别功能模块中,训练了两个模型,一个是目标检测模型,因为商品在图中所占的比例很小,为了识别准确,需要将商品从图中裁剪出来,利用目标检测模型可以得到商品的图片。另外一个模型是商品分类模型,来确定商品的具体类别,得到商品的ID。在建立商品与人的关系功能模块中,确定了操作商品的人之后,训练了行人重识别模型,得到该人在同一时刻不同角度摄像头下的图片。在识别人的身份功能模块中,设计并实现了人脸识别算法,得到顾客的ID。根据每一个动作的商品ID和顾客ID,得到购物清单。本文从功能和性能两方面对该无人商店场景下的视觉捕捉与追踪系统进行了测试。功能测试结果表明,系统实现了需求中的全部功能。性能测试表明,该系统达到了预期的F1分数的要求。我们对测试结果进行了分析,并给出了还可以继续改进的内容。