论文部分内容阅读
随着智能硬件的发展以及人们日常线下消费体验服务的升级,智能终端设备也随之融入到人们的日常生活。近年来深度学习以及硬件技术的茁壮发展为智能终端设备信息提取带来了新的方向。智能试衣镜作为智能终端设备发展的硬件产物,摆放于线下服装门店,为消费者线下“挑选服装、购买服装、搭配服装”提供全新体验服务。智能试衣镜是一款集主控板、显示器、镜面玻璃、体感摄像头等硬件,搭载试衣镜系统(服装定制推荐、试装效果比较、镜屏人机互动等)软件,利用人脸检测识别、肢体动作及手势动作控制系统的软硬件一体化智能终端设备。该系统涉及到的技术包括人脸检测与识别、人体骨骼坐标数据提取、肢体动作检测识别、手势检测识别等技术。本文研究内容为:(1)目前深度学习模型普遍基于云端部署,根据实际系统需求,需将云端部署移植到终端设备运行。针对智能设备在计算规模中的不足,进行模型裁剪和压缩(构建原始图像的多级别金字塔构建图像,设计一个小型卷积神经网络模型对顶层金字塔图像进行人脸粗过滤;对于粗过滤后的人脸图像,采用一个精密卷积神经网络模型对人脸进行精确定位)。本文在Firefly-RK3399开发板子上对SeetaFace、MXNet、FaceNet三种模型进行优化处理及实验对比,智能试衣镜终端人脸检测与识别模型分别选择MXNet和FaceNet。(2)在智能试衣镜里,手势作为通用肢体控制语言来操作系统。由于传统基于计算机视觉技术进行手势识别易受外界环境影响,随着微软Kinect(利用光学感测原理识别人体动作的3D体感摄像机)推出,本系统采用了基于Kinect设备获取骨骼坐标系统,通过坐标数据变化判断肢体动作;基于Kinect设备获取深度图像数据,利用图像处理技术,对手部区域特征提取、计算、识别从而实现手势动作识别。