论文部分内容阅读
摘要：本项目将当前热门的感知计算技术应用到电子玩具这一领域，开创性地设计了一个可以与主人进行丰富多样的感性交流的电子宠物。以Intel 3D摄像头和Baytrail平台为核心，侦测主人的表情、手势、语音等，实现了与主人进行感性互动的交流，为用户带来了简单方便、人性贴心的全新体验。本文网络版地址：http：//www.eepw.com.cn/article/266052.htm
关键词：感知计算；视觉；互动；电子宠物
DOI： 10.3969/j.issn.1005-5517.2014.11.009
1 创意来源
随着电子技术的进一步发展，电子宠物逐渐走入人们的家庭生活中，目前市面上相对成熟的电子宠物主要有两大类：一类是生活在电子设备中的虚拟宠物，没有任何的机械结构，纯粹通过电子设备与之进行交互；另一类是具有一定机械机构的电子宠物，具有触觉等功能，但由于其与逼真宠物外形想像的特性，交互方式也相对缺乏。
如今感知计算技术大为盛行，它重新定义了人与设备的沟通方式，通过更适合人类的沟通方式比如语言、表情、动作等，让设备感知人类的意图，智能分析人类的行为。
我们的作品，就是基于这一热门技术，将感知计算应用到电子宠物身上，充分利用了感知计算的先进特性，实现了一个通过手势、表情、语言与使用者进行感性互动的智能型电子宠物。具有如此丰富、生动交互方式的电子宠物，无疑会给使用者带来全新的体验。可以想象，一个比真实宠物更加方便、卫生、更加懂主人意思的智能电子宠物，无疑会引起广大宠物爱好者的极大兴趣，成为我们现代化家庭的重要一员。
2 关键技术
2.1 视觉处理程序
我们的项目采用的是Intel Creative Senz3D摄像头，Creative Senz3D是Intel公司为感知计算技术开发的3D景深摄像头。我们用3D摄像头作为宠物的眼睛，是整个系统最核心的部分，实现与周围环境的交互，支持人脸识别，表情识别和手势识别。我们借用了配套的Intel perceptual computing SDK中提供的一些表情识别、手势识别、人脸识别等模块，用线程来分别管理。当3D摄像头捕捉到图像数据后会分析然后开启线程执行上述三个模块中的一个，然后把识别结果返回给服务器，让服务器完成接下去的工作。
2.2 服务器
我们把服务器放在了Baytrail开发板上。服务器作为与每个子模块沟通的桥梁，它的主要作用是一个数据中枢，它接收摄像头的识别结果，然后根据情况选择通过socket发送给手机，或用串口发送给Arduino开发板，协调各个部分的工作。同时，服务器要求具有一定的鲁棒性，它需要能够检测各个部分是否正常工作并进行纠正。
2.3 Android移动应用
手机APP显示的是宠物的脸，它承载的是宠物向用户做出表情以及声音的输出，它会根据服务器发来的指令变换自己的表情，与用户所做的表情同步，与用户进行交互，同时用户做的表情会对宠物自身的心情值产生影响，当心情值足够高时，即使没有外界刺激，宠物也会做出开心的表情。这一部分的主要实现方式是Android套接字（Socket）编程和异步消息处理机制，实现与服务器Baytrail开发板的通信，接收服务器发来的控制命令并返回反馈数据。表情切换用Android活动的切换来实现，表情显示用Android Canvas类进行图片播放来实现。
2.4 离线语音识别
语音识别主要模仿宠物的听力，当宠物识别出一些命令词时会产生一些回应动作。比如听到“过来”，宠物会原地转动直到3D摄像头找到用户的脸，然后通过识别脸部的景深位置逐渐靠近用户和修正行进方向，最后到达用户面前。当听到“跳舞”时，宠物跟随着用户的手势“翩翩起舞”。这一部分的实现方式是使用了科大讯飞语音识别引擎，结合Android应用的控件，完成语音的录音、识别和命令发送的过程，丰富了交互方式。
2.5 机械结构
因为机械臂等结构的实现比较复杂，所以我们用了一个Arduino小车来作为电子宠物的“腿”，用小车的各种前后左右运动模拟宠物的动作。Arduino小车的控制主要通过编程实现，电路板产生四路PWM方波输出，控制电机的前后转动，使得小车做出各种运动。Arduino小车与服务器的通信采用串口实现。
3 应用前景
随着近几年移动智能技术的发展，我们开始步入智能化，生活中，智能手机和个人电脑已经成了人们离不开的帮手，其它的诸如智能冰箱等智能家居系统也给人们的生活带来了很大便利。那么，在家庭宠物娱乐方面是否也能做到智能化呢？答案是肯定的，我们的电子宠物就实现了这一想法。电子宠物市场前景广阔，相比于传统宠物，电子宠物不必主人精心呵护，而且更加干净卫生，便于照料，许多商家也推出了自己的电子宠物，例如第一代的电子鸡，第二代的任天堂的任天狗，Sony的AIBO，但是都或多或少存在缺陷。相比于同类产品，我们的电子宠物更加智能，克服了前几代产品的缺点，集成了视觉交互、语音交互、移动便携三大创新点和优势，更加真切地模拟宠物的功能。
此外，当今社会的人们生活压力陡增，结束了一天的工作后往往难以释放内心的压抑，而养一只真实的宠物却难以照料它，这时，试想一下，当我们结束了一天的工作回到家时，我们的电子宠物会主动跑到跟前打招呼，送上一个微笑，我们可以控制电子宠物的动作，与宠物进行一场放松的舞蹈，我们还能与宠物进行表情交流，它甚至能够看懂你的表情，在你失落伤心时送上安慰。总之，丰富的交互方式使得我们的电子宠物能给与主人精神的寄托，它比真实的宠物更加“懂事”。
当然，本项目还有尚待改进的部分，比如物体识别算法方面还需优化，比如适当地增加机械装置，还能使宠物更加灵活，或许我们的宠物还能替人干家务，实现端茶送水扫地等功能。这些都需要我们团队继续努力，将我们的项目朝着智能化、市场化方向推进。
参考文献：
[1]电子宠物.百度百科[R/OL].（（2014-03-15）. http：//baike.baidu. com/view/249197.htm
[2]陈婉菁.电子宠物市场机会与挑战[J].玩具世界，2008（07）：43-45[3]邬大鹏.基于视觉的手势识别及人机交互研究[D].南京航空航天大学，2010
[4]庄浩洋.3D人机交互中的骨架提取和动态手势识别[D].电子科技大学，2013
[5] Michael J. Black， Yaser Yacoob. Recognizing Facial Expressions in Image Sequences Using Local Parameterized Models of Image Motion [J]. International Journal of Computer Vision. 1997 （1）
[6] Ira Cohen， Nicu Sebe， Ashutosh Garg， Lawrence S. Chen， Thomas S. Huang. Facial expression recognition from video sequences： temporal and static modeling [J]. Computer Vision and Image Understanding. 2003 （1）
[7]刘洲洲. 基于遗传算法的足球机器人路径规划[J].电子产品世界，2013（2）
[8]邓聪，游向，东罗迁，等. 一种移动视频监控及定位系统的设计[J].电子产品世界， 2014（1）
关键词：感知计算；视觉；互动；电子宠物
DOI： 10.3969/j.issn.1005-5517.2014.11.009
1 创意来源
随着电子技术的进一步发展，电子宠物逐渐走入人们的家庭生活中，目前市面上相对成熟的电子宠物主要有两大类：一类是生活在电子设备中的虚拟宠物，没有任何的机械结构，纯粹通过电子设备与之进行交互；另一类是具有一定机械机构的电子宠物，具有触觉等功能，但由于其与逼真宠物外形想像的特性，交互方式也相对缺乏。
如今感知计算技术大为盛行，它重新定义了人与设备的沟通方式，通过更适合人类的沟通方式比如语言、表情、动作等，让设备感知人类的意图，智能分析人类的行为。
我们的作品，就是基于这一热门技术，将感知计算应用到电子宠物身上，充分利用了感知计算的先进特性，实现了一个通过手势、表情、语言与使用者进行感性互动的智能型电子宠物。具有如此丰富、生动交互方式的电子宠物，无疑会给使用者带来全新的体验。可以想象，一个比真实宠物更加方便、卫生、更加懂主人意思的智能电子宠物，无疑会引起广大宠物爱好者的极大兴趣，成为我们现代化家庭的重要一员。
2 关键技术
2.1 视觉处理程序
我们的项目采用的是Intel Creative Senz3D摄像头，Creative Senz3D是Intel公司为感知计算技术开发的3D景深摄像头。我们用3D摄像头作为宠物的眼睛，是整个系统最核心的部分，实现与周围环境的交互，支持人脸识别，表情识别和手势识别。我们借用了配套的Intel perceptual computing SDK中提供的一些表情识别、手势识别、人脸识别等模块，用线程来分别管理。当3D摄像头捕捉到图像数据后会分析然后开启线程执行上述三个模块中的一个，然后把识别结果返回给服务器，让服务器完成接下去的工作。
2.2 服务器
我们把服务器放在了Baytrail开发板上。服务器作为与每个子模块沟通的桥梁，它的主要作用是一个数据中枢，它接收摄像头的识别结果，然后根据情况选择通过socket发送给手机，或用串口发送给Arduino开发板，协调各个部分的工作。同时，服务器要求具有一定的鲁棒性，它需要能够检测各个部分是否正常工作并进行纠正。
2.3 Android移动应用
手机APP显示的是宠物的脸，它承载的是宠物向用户做出表情以及声音的输出，它会根据服务器发来的指令变换自己的表情，与用户所做的表情同步，与用户进行交互，同时用户做的表情会对宠物自身的心情值产生影响，当心情值足够高时，即使没有外界刺激，宠物也会做出开心的表情。这一部分的主要实现方式是Android套接字（Socket）编程和异步消息处理机制，实现与服务器Baytrail开发板的通信，接收服务器发来的控制命令并返回反馈数据。表情切换用Android活动的切换来实现，表情显示用Android Canvas类进行图片播放来实现。
2.4 离线语音识别
语音识别主要模仿宠物的听力，当宠物识别出一些命令词时会产生一些回应动作。比如听到“过来”，宠物会原地转动直到3D摄像头找到用户的脸，然后通过识别脸部的景深位置逐渐靠近用户和修正行进方向，最后到达用户面前。当听到“跳舞”时，宠物跟随着用户的手势“翩翩起舞”。这一部分的实现方式是使用了科大讯飞语音识别引擎，结合Android应用的控件，完成语音的录音、识别和命令发送的过程，丰富了交互方式。
2.5 机械结构
因为机械臂等结构的实现比较复杂，所以我们用了一个Arduino小车来作为电子宠物的“腿”，用小车的各种前后左右运动模拟宠物的动作。Arduino小车的控制主要通过编程实现，电路板产生四路PWM方波输出，控制电机的前后转动，使得小车做出各种运动。Arduino小车与服务器的通信采用串口实现。
3 应用前景
随着近几年移动智能技术的发展，我们开始步入智能化，生活中，智能手机和个人电脑已经成了人们离不开的帮手，其它的诸如智能冰箱等智能家居系统也给人们的生活带来了很大便利。那么，在家庭宠物娱乐方面是否也能做到智能化呢？答案是肯定的，我们的电子宠物就实现了这一想法。电子宠物市场前景广阔，相比于传统宠物，电子宠物不必主人精心呵护，而且更加干净卫生，便于照料，许多商家也推出了自己的电子宠物，例如第一代的电子鸡，第二代的任天堂的任天狗，Sony的AIBO，但是都或多或少存在缺陷。相比于同类产品，我们的电子宠物更加智能，克服了前几代产品的缺点，集成了视觉交互、语音交互、移动便携三大创新点和优势，更加真切地模拟宠物的功能。
此外，当今社会的人们生活压力陡增，结束了一天的工作后往往难以释放内心的压抑，而养一只真实的宠物却难以照料它，这时，试想一下，当我们结束了一天的工作回到家时，我们的电子宠物会主动跑到跟前打招呼，送上一个微笑，我们可以控制电子宠物的动作，与宠物进行一场放松的舞蹈，我们还能与宠物进行表情交流，它甚至能够看懂你的表情，在你失落伤心时送上安慰。总之，丰富的交互方式使得我们的电子宠物能给与主人精神的寄托，它比真实的宠物更加“懂事”。
当然，本项目还有尚待改进的部分，比如物体识别算法方面还需优化，比如适当地增加机械装置，还能使宠物更加灵活，或许我们的宠物还能替人干家务，实现端茶送水扫地等功能。这些都需要我们团队继续努力，将我们的项目朝着智能化、市场化方向推进。
参考文献：
[1]电子宠物.百度百科[R/OL].（（2014-03-15）. http：//baike.baidu. com/view/249197.htm
[2]陈婉菁.电子宠物市场机会与挑战[J].玩具世界，2008（07）：43-45[3]邬大鹏.基于视觉的手势识别及人机交互研究[D].南京航空航天大学，2010
[4]庄浩洋.3D人机交互中的骨架提取和动态手势识别[D].电子科技大学，2013
[5] Michael J. Black， Yaser Yacoob. Recognizing Facial Expressions in Image Sequences Using Local Parameterized Models of Image Motion [J]. International Journal of Computer Vision. 1997 （1）
[6] Ira Cohen， Nicu Sebe， Ashutosh Garg， Lawrence S. Chen， Thomas S. Huang. Facial expression recognition from video sequences： temporal and static modeling [J]. Computer Vision and Image Understanding. 2003 （1）
[7]刘洲洲. 基于遗传算法的足球机器人路径规划[J].电子产品世界，2013（2）
[8]邓聪，游向，东罗迁，等. 一种移动视频监控及定位系统的设计[J].电子产品世界， 2014（1）