基于NAO机器人视觉识别科教创新实验设计

来源 :科技创新导报 | 被引量 : 0次 | 上传用户:rockyliangchao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘  要:依托高校人工智能课程,结合垃圾分类这一重要民生问题,本文设计了基于NAO机器人的垃圾识别与目标抓取创新实验。基于NAO的实验开发平台Choregraphe,使用视频监视器进行图像数据的学习,建立图像数据库,进而使用Vision Reco.指令盒进行视觉识别。根据机器人运动学理论,实现NAO对目标的抓取动作设计,并使用NAOMarks进行定位信息处理,确保NAO正确定位垃圾桶位置。经过教学实践发现,学生对该种模式的教学方法有极高的学习兴趣,培养了学生的动手实践能力,对于学生创新实践思维的培养有积极的促进意义。
  关键词:NAO机器人 视觉识别 机器人运动控制 垃圾分类
  中图分类号:TP391 文献标识码:A 文章编号:1674-098X(2021)07(a)-0178-06
  Innovative Experimental Design Based on NAO Robot Visual Recognition
  WANG Kexin  WEI Jiurong  YANG Jiarong  LI Cheng  WANG Chen  SHI Yu  QIANG Ning*
  (School of Physics and Information Technology, Shaanxi Normal University, Xi'an, Shaanxi Province, 710062  China)
  Abstract: Relying on the artificial intelligence course in colleges and universities, combined with the important livelihood problem of garbage classification, this paper designs an innovative experiment of waste identification and target capture based on NAO robot. The experimental development platform Chorepache based on NAO uses video monitor to learn image data, establish image database, and then use Vision Reco. Instruction box for visual recognition. According to the robot kinematics theory, the grasping action design of NAO to the target is realized, and NAOMarks is used to process the positioning information to ensure that NAO can correctly locate the trash can. Through teaching practice, it is found that students have a high interest in this mode of teaching method, cultivate students' practical ability, and have a positive significance in promoting the cultivation of students' innovative practical thinking.
  Key Words: NAO robot; Visual recognition; Robot motion control; Garbage classification
  仿人型機器人具备与人类相似的外观,可以适应人类的生活和工作环境,代替人类完成各种作业,其中Aldebaran Robotics公司研制的NAO是目前世界上应用最广泛的人形机器人[1]。
  人形机器人的主要应用包括面向商业发展、家庭生活、学校教育及科学研究,有较为丰富的应用拓展。本文结合学校教育与垃圾分类问题,依托高校人工智能课程教,借助NAO仿人型机器人的图像开发平台Choregraphe设计NAO关于垃圾回收的创新实验,建立NAO已知对象的数据库,利用视觉关键特征进行识别,最终实现对不同垃圾进行分类识别的目标。本文设计的创新实验过程遵循理论结合实际、循序渐进的原则,从平台指令盒的初步使用到建立图像数据库、设计抓取动作、定位垃圾桶等一系列动作的实现,帮助培养学生的专业学科素养及动手实践能力。
  1  Choregraphe平台使用
  NAO提供了Choregraphe、NAOqi和检测器作为开发软件,本文基于Choregraphe开发平台进行实验设计。Choregraphe是一个具有高可视化的图像开发工具,内部装载了面向对象的直译程序语言Python。编程过程清晰、直观,程序代码可读性高[2]。使用该平台可以在NAO机器人上测试实验过程中所创建的不同指令模块,基于图像编程工具实现对NAO机器人行为的控制,其内置的指令盒在一定程度上简化了实验过程中对于NAO机器人基础应用的实现。
  对于入门级学生来说,Choregraphe图像化编程的图像化编辑平台很容易上手,并可以提供NAO指令的即时反馈,这将大大提高学生的编程兴趣,更有利于后续开展的相关编程课程的学习[3]。
  2  实验总体方案
  实验设计总体分为两大部分,即基础视觉识别实验设计和拓展应用实验设计,所有实验设计均基于Choregraphe平台的使用。基础视觉识别实验中,NAO机器人使用视频监视器进行图像特征信息的学习,调用Vision Reco.指令盒对已建立的图像数据库信息进行视觉识别。拓展应用实验中,主要设计NAO机器人的手部抓取动作,并使用NAOMarks进行目标定位功能的实现。   本文的创新实验设计是以学生为中心,以现实生活中的垃圾分类与处理问题为驱动,旨在将课堂与生活实践联系起来,培养学生对于学习人工智能课程的兴趣和热情。本文的总体实验设计难度循序渐进、由浅入深,从目标识别到目标捕获再到目标定位,系统地、全面地引导学生从理解和运用NAO向开发NAO过渡,能够有效培养学生动手实践、独立思考的能力[4]。实验总体设计如图1所示。
  3  基础视觉识别实验
  实验通过使用Choregraphe平台提供的Video monitor(视频显示器)窗口进行图像学习。在学习过程中,实验人员手动截取不同形状轮廓的物体图片模拟实际物体,之后NAO通过对学习对象进行标定,提取相应的形状及颜色特征,将学习对象的名称、方位存储到数据库中。其中,视觉学习对象为平坦且具有不同颜色和不同轮廓物体的图片,图片背景为无特殊花纹形状的白色背景,以减小外界环境对于NAO的学习识别带来的干扰,保证NAO视觉识别过程环境背景的纯净。
  3.1 图像获取
  NAO机器人拥有两个摄像头以实现视觉认知,其中,软件开发平台中的视频显示器窗口用于显示NAO的摄像头实时画面和内存信息的程序。
  实验人员利用Choregraphe平台上提供的视觉学习工具Video monitor进行NAO机器人的图像学习实验,详见图2。实验中,选不同类型的垃圾图片,确保图像清晰且有较明显的可识别特征。在视频显示器窗口,NAO通过自身摄像头对图片经过4s学习后,相机捕获一张320×240分辨率的图像[5]。NAO在学习过程中会抽取选定图像的关键特征,即颜色和形状轮廓等进行提取。实验人员手动画出物体图像的形状轮廓,对已学习图像的名称、方位、类别等信息进行规定并上传数据库。多次重复上述过程,操作NAO学习多组对象的图片信息,建立小型图像数据库并存储在计算机中。
  对于不同类型的垃圾采用格式一致的命名规范——“垃圾名称_垃圾类型”。同时按照西安现行的垃圾分类管理办法简化名称:规定A表示厨余垃圾;B表示有害垃圾;C表示可回收垃圾;D表示其他垃圾。
  3.2 色彩空间
  NAO机器人的摄像头主要支持RGB颜色空间和HSV颜色空间模型[6],详见图3、图4。
  RGB模式表示像素色时,是通过改变红、绿、蓝3种颜色不同程度上的叠加比例来表示不同的颜色。但在RGB空间中没有光照记录外界光照变化的影响,在识别过程中,外界光照的改变会引起3个分量的变化,导致识别过程无效。
  HSV空间模型能够记录色调、亮度和饱和度的变化。但在该色彩空间下,NAO机器人摄像头采集图像的时间较长,不能满足即时识别的性能要求[7]。
  为满足实验设计对于垃圾图像的实时处理识别,本文采用NAO机器人摄像头默认的RGB色彩空间模型下进行图像学习及识别处理。为排除因光照情况不同而产生的识别干扰,将实验安排在有恒定光强照射且光源照射角度相同的室内进行。
  3.3 视觉识别
  实验设计使用Choregraphe平台的Vision Reco.指令盒,如图5所示。该指令盒的主要功能是识别机器人已知的图片、物体和位置。该指令盒的输入为待识别图像的相关特征信息,NAO通过提取图像的形状轮廓及颜色等特征信息进行识别分析。
  识别过程中需要将之前NAO在视频显示器上学习的图像信息作为视觉识别数据库全部导出到本地计算机默认文件夹下,生成本地数据库,再将当前的本地视觉识别数据库上传到NAO机器人上,最后使用Vision Reco.指令盒进行视觉识别。具体识别演示情况可见图6。
  实验中为向学生说明NAO机器人的颜色识别方式,设计可控制变量的实验,即在保证其他实验条件不变的情况下,通过使用图像编辑软件,仅改变待识别图像的颜色信息。让NAO再次识别,观察NAO并不會将错误颜色信息的图像识别成为已存储在视觉识别数据库中的图像。多次重复实验后,让学生自行结合已学理论知识进行总结验证,提高学生的实验操作能力。
  在建立数据库成功识别图像的基础上,鼓励学生开拓思维,基于实验开发平台自行设计拓展应用。如使用switch case语句指令盒,实现NAO机器人的人机交互功能,拓展应用如图7所示。
  4  拓展应用实验
  4.1 抓取设计
  NAO机器人具有多自由度,身体关节灵活,可基于时间的编程进行动作变化。
  时间轴分为动作层和行为层,在时间轴编辑器可设定关节动作。考虑到教学过程的普适性及灵活性,通过记录模式编辑动作进行动作设计。使用Choregraphe平台指令盒库中的Animation指令盒,点击进入该指令盒后,打开时间轴编辑器,激活记录模式,即可进行NAO动作的记录[7]。在行为层中添加Ear LEDs指令盒,配合时间轴中的动作让NAO的抓取动作更具活力,实验演示见图8。
  学生在编写行为和动作时,需要深入了解Choregraphe模块化编程的框架搭建,提高了学生问题分析能力和逻辑思维能力。在设计NAO的手部抓取动作时,学生需要对NAO机器人控制关节的自由度、身体平衡、运动控制等相关知识背景进行深入学习,是理论联系实际的过程,详见图9。
  4.2 NAOMark定位
  Choregraphe附带了一个自动检测NAOMarks 的算法,可以辨认出已定义的标志。该算法会检测NAOMarks独特的形状,并根据该标记内白色和蓝色区域的大小来划分。Nao可以把直接寻找目标物体的任务转换成通过探测NaoMarks来间接定位目标物体[8]。其中部分标志见图10。
  本文设计的实验中使用Mark64、Mark112、Mark130、Mark170进行识别检测。采用长宽均为5cm的NAOMarks标志,黑色背景白色形状。调整转椅高为58cm,确保NAO机器人在选择上方摄像头后能够完整识别到NAOMarks,见图11。   实验将NAOMarks标志贴在指定垃圾桶上,学生通过小组合作的形式设计实验路线及对NAO进行运动控制,保证NAO能够平稳、正确地定位到垃圾桶的位置,完成垃圾回收实验的全部过程。学生使用Choregraphe平台进行图形化编程,最终实现NAO机器人可以按照既定路线行走,并且通过编程设计识别到不同的NAOMarks标志即触发不一样的行为动作,指导学生团结协作,为NAO设计不同的行为指令以实现更多具有创新性的想法。
  4.3 实验结果
  实验建立起一个小型图像数据库,使用Vision Reco.指令盒进行视觉识别。实验过程中保证实验环境干净且待学习图像有足够的颜色及形状轮廓信息,确保NAO能够识别不同垃圾图像并进行有效分类。同时设计拓展应用实验,在时间轴编辑器中为NAO设计手部抓取动作,使用NAOMarks算法进行定位信息处理。由于NAO手部不同位置的摩擦力不同且待抓取物体形状大小不同,抓取精度不高,需人为辅助进行。
  实验结果表明,NAO对已建立在数据库中的图像特征信息采集完整度好,識别准确度高、最终能够完整地实现NAO对垃圾的识别、抓取与定位垃圾桶的一系列实验设计过程。
  5  结语
  本文设计了一种基于NAO实验平台的垃圾回收创新实验,有效联系起高校人工智能课程的理论学习和实践操作。该实验涉及融合NAO机器人的视觉系统、自由度控制、传感器、目标定位等多方面的理论知识,使用Choregraphe平台对不同类型垃圾的关键特征进行学习,进而快速识别出垃圾类型的应用拓展,为智能机器人方面的课程教学提供一种新的思路。
  学生能够实现从简单动作的调试到自主拓展功能的开发,用自主性学习补充传统课堂教学,培养学生主动学习的能力[9]。教学过程中不必局限于现有的指令模块进行动作设计,可以更改或者书写新的代码实现需求,从而激发学生的学习兴趣,提升教学内容的教学效果[10]。让学生熟悉图形化指令盒的编程构建,以及机器人视觉学习和动作的控制方法,大大提高了教学效果和教学趣味性。鼓励学生对实验结果多次重复,培养学生严谨的探究思维,为后续开展的人工智能高级实验实训奠定良好基础。
  参考文献
  [1] 杨杰.NAO机器人对目标红球识别与视野中心追踪策略[J].科教导刊:电子版,2017(6):159-160.
  [2] 郭钺.基于NAO机器人在高职人工智能机器人专业教学中的应用[J].科学大众(科学教育),2019(4):126.
  [3] 王振,张星.NAO机器人平台的创新实验设计与实现[J].实验室研究与探索,2016,35(12):156-159.
  [4] 高唯,王晓丽,李杰.基于仿人机器人相关竞赛教学研究[J].信息系统工程,2019(10):170-171.
  [5] 王大东.NAO机器人程序设计[M].北京:清华大学出版社,2019:165-168.
  [6] 梁付新,刘洪彬,张福雷,等.基于NAO机器人的目标识别方法[J].计算机工程与设计,2017(8):2235-2239
  [7] 宗鹏程.基于NAO机器人的视觉目标检测与跟踪[D].北京:华北电力大学,2015.
  [8] 鹿天柱,罗罹,胡开亮.基于Nao机器人的捡垃圾流程及算法研究[J].电脑知识与技术,2015,11(11):154-155.
  [9] 陈小平,罗文坚.以机器人实验为载体的实践创新培养体系研究[J].研究生教育研究,2011(3):48-52.
  [10] 齐晶薇.以机器人教学和实验平台为载体培养大学生实践创新能力[J].科技资讯,2018,16(32):186-187.
其他文献
摘 要:产教融合指将产业与教育相交融,是一种新的教育模式,也是教育事业全新发展趋势,从个体层面的校企结合进行升华,拓展至整个教育和产业层面,从而实现深入互动,拓展教育空间,实现深度育人。在产教融合、校企合作思想下,加强教学管理工作有效革新十分必要。本文主要分析电力职院在产教融合背景下所存在的实际问题进行分析,并从革新理念,构建柔性机制、创新管理方法、加强师资建设等方面进行分析。  关键词:产教融合
期刊
摘 要:“1+X证书”制度是国务院在2019年印发的《国家职业教育改革实施方案》中列出的“职教20条”中的一条,也是我国职业教育改革的重要部署,具有非常重要的创新意义,主要目的是深入贯彻以生为本的教学理念,深化复合型人才培养模式和评价模式的改革,全面提高职業院校人才培养的质量,夯实职业院校学生的可持续发展基础。本文对“1+X证书”制度的意义,以及基于“1+X证书”制度的计算机类专业的职业教学现状和
期刊
摘 要:研究生教育作为国家培养高水平、高素质、高层次创新人才的关键,其教育进程越来越国际化,探索研究生培养国际化是研究生教育的发展趋势,也是提升研究生国际竞争力的有效途径。目前,研究生培养国际化已经得到广泛的关注和飞速的发展,本文通过分析所在高校当前研究生国际化培养的现状及存在的问题,对高等院校国际化人才培养多元路径进行探索,为研究生国际化培养提出相关建议。  关键词:国际化 研究生培养 创新 高
期刊
摘 要:“科教融合”理念已提出了近百年,随着近百年的探索和发展已成为高校培养人才的主流方向。民办高校作为我国高等教育的重要组成,具有其独特的特点和目标,绝大多数以培养应用型人才为目的。本文首先分析了以培养应用型人才作为目标的民办本科高校在“科教融合”实践教学中存在的问题,结合“科教融合”的基本理念进行了解析,在此基础上提出利用制定“导师制”,从学生入学起明确指导教师,结合导师的科研课题制定实践计划
期刊
摘 要:首先明确线上线下混合式一流课程教学的目的和意义,提出具体的教学实施策略和实施方法,将机械原理课程教学分解为课前线上自学、课中翻转课堂和项目化教学、课后完成作业和项目化大作业3个阶段,然后以机械原理课程的四杆机构设计知识点为例,对每个阶段的教学实施进行阐述,最后通过教学过程评价和学生反馈,验证了该线上线下混合式一流课程教学方法实施的有效性。  关键词:课前 课中 课后 线上自学 翻转课堂 项
期刊
摘 要:目前,教务管理的信息化已经普及,并且越来越完善,集选课、作业批改、成绩管理于一体的教务管理系统已经非常多见。然而实验教学因其相对于理论教学的特殊之处,为了达成同样级别的信息化管理,需要建立有别于理论教学的独立的实验教学管理系统。由于这样的系统的特殊之处,这样的系统往往需要相应的实验中心自己给出一套数据。笔者根据自己在北京化工大学大物实验中心建立实验成绩管理系统的实践,结合数据库的理论,总结
期刊
摘 要:《建筑结构抗震》是土木工程专业的必修专业课,然而当前该课程的教学存在理论授课脱离实际工程设计案例的问题。本文针对《建筑结构抗震》课程,从大纲及授课计划的制定、教材选用、教学内容、教学过程设计及考核方法等方面探讨以应用型人才培养为目标、基于PKPM结构设计软件的教学模式改革,实现抗震理论知识和结构设计软件演示的互动式教学模式,从而给该课程在应用型人才培养背景下的改革提供参考。  关键词:应用
期刊
摘 要:为响应国家课堂教学改革的号召,帮助无机化学实验的任教老师调整自己的教学模式与无机化学实验室的管理方法,本文归纳了几种教学模式和管理方法供任教老师参考,文中所提到的方法能够通过不同途径、不同模式让学生更加便捷、高效、主动地学习无机化学实验这门课程,培养学生在实验中的独立性、创新性、规范性,使学生的综合素质得到全方面提高,教学目的得以更好达成。  关键词:无机化学实验 教学模式 管理方法 综合
期刊
摘 要:电气工程专业实验具有环境复杂、操作不可逆、危险性高、成本消耗大等特点,传统实验教学在操作安全性、交互性、设计性等方面已不能满足现代人才培养的要求。虚拟仿真实验在安全性、实验条件、实验成本和交互性等方面可以弥补传统实验教学的不足,分析了实验案例的设计方法和思路,对电力系统专业方向的虚拟仿真实验进行了教学实例设计。虚拟仿真实验对完善实验教学内容,满足专业实验教学需求,提高学生的工程实践能力,培
期刊
摘 要:当前,应用型大学科学研究存在整体科研实力不强、应用型科研优势特色不突出、科研管理机制与应用型大学发展定位不匹配等问题。“十四五”时期,应用型大学的科技创新发展要坚持應用型科学研究的主体地位,着力构建以下科技创新发展路径:一是凝练学科方向,强化科研平台团队建设;二是聚焦区域发展,推进政产学研用长效合作;三是加强过程管理,促进科研项目良性循环;四是提升成果质量,加快科技成果转化应用;五是注重分
期刊