论文部分内容阅读
［摘要］ 通过分析目前有形技术使用中活动形式与呈现形式的性能，作者尝试对有形技术提供的交互性能进行概述。同时作者也对不断发展的心理学领域与教育领域中的一些相关研究进行综述，从而为有形技术支持的学习之研究汲取理论基础。在此基础上，作者提供了有形技术教育应用的一些案例。最后，对这些研究对未来研究、应用与实践的启示进行了简要论述。
［关键词］ 有形计算；泛在计算；扩增现实
一、引言
在本综述中，笔者并不对有形技术是否优于其他目前已经接受的、支持学习的ICT应用进行辩论，只希望读者能够了解技术促进学习与教学的一些新的可能性。在这些可能性中，一些可以通过相对简单、低廉的技术达到，而另一些依旧处于开发的早期阶段，涉及复杂的基于视频的图像分析或机器人技术的应用等。当然，提及这一点并不是为了说明技术的复杂性，而是为了说明技术交互的创新形式——它们能够给学习提供新的可能性。通过分析目前有形技术使用中活动形式及呈现形式的性能，笔者尝试对有形技术提供的交互性能进行概述。同时也对不断发展的心理学领域与教育领域中的一些相关研究进行综述，从而为有形技术支持的学习研究汲取理论基础。尽管在本综述中提供的诸多教育案例只涉及儿童的使用，但一些也涉及中学生的使用。一般来说，交互性与教育性原则适合于各年龄段群体与情境的学习。
现在，几乎没有人不同意这一观点：信息通信技术（ICT）对学习和教学来说是非常重要的，不管该观点是职业的（对年轻人来说，为应付学校外生活，在ICT方面更加熟练和有较高的信息素养是非常重要的）还是技术幻想的（ICT提供了其他方式不能轻易提供的强健的学习经历）。毫无疑问，最近一些年，无论在正规的学校环境还是非正规的家庭环境，ICT的接受与使用都取得了巨大进步，并且ICT对儿童学习产生了诸多积极影响（Cox等，2004a，2004b；Harrison等，2002）。然而，ICT在学校应用的发展似乎落后于其在生活领域的发展（像工厂、家庭）。现在，技术正不断地融入我们的日常生活：例如，当我们去购物时，超市会用条形码来计算我们购买商品的价值；置入我们信用卡的微晶片及忠诚卡的磁条，被超市及银行用来从我们银行的帐户取钱、存量管理控制及预测我们的消费模式等等；公共场所的传感器用于记录我们的活动；我们通过移动手机通讯，使我们所在的位置可以被精确地定位；我们使用远程控制设备来控制娱乐系统、车库门及其他门的开关；在洗衣机、报警装置、加热装置方面，我们的家庭被微型计算机控制着。据调查发现，每个有孩子的中等收入家庭平均拥有3.5个移动电话（UKclubculture，2004）。
在英国，大部分学校都拥有ICT配置相当好的教室和实验室，但它们却几乎没有可能成为教授和学习核心课程的主角。现在很多学校开始采用便携式电脑、交互白板或灵敏板，一些学校甚至正在试验PDA的使用等，技术的角色正在逐渐发生变化。然而，尽管技术发生了很大变化，但教学和学习实践的组织形式却几乎没有发生变化。然而，在校外技术却有一个日益增长的趋势，它们逐渐摆脱了台式计算机的传统形式。在人机交互（HCI）领域，传统的桌面隐喻逐渐被真实物理环境与数字世界之间不同关系的研究所取代。在校外，开始看到逐渐被人们所熟知的“有形”接口的发展。
1.有形技术：从图形用户接口（GUIs）到有形用户接口（TUIs）
首先介绍一下“有形”这一术语的短暂历史。简单的输入设备（像键盘、鼠标等）用来控制和操作着数字空间，同时它们也用于控制和操作输出设备（像监视器、白板等）上显示的事物。有形接口试图消除输入——输出的区别，并努力开启新的交互（这些交互将物理世界与数字世界混合在一起）可能性（Ullmer & Lshii，2000）。当回顾TUIs的背景时，大部分人趋向于提及1997年发表，由MIT媒体实验室的Hiroshi Ishii和Brygg Ullmer所写的论文，他们创造了“有形小片”这一术语：通过使数字信息有形，弥合赛博空间和物理环境间隙的尝试（Ishii & Ullmer，1997，p235）在使用“小块”这一术语时，他们故意使用了一个双关语——我们使用“小块”这一术语既指物理物体，也指计算机中的数字物体（像二进制数字）。因此，有形小块这一术语以同样的方式考虑数字物体与物理物体。有形接口在输入和输出两方面都强调触感和肉体性。通常，有形接口同实际物体的物理表现密切相关。应用从复原[例如，有形技术能够使个体实践通过轻抚来制作热饮料（Edmans等，2004）]到造访共享分布式空间的基于物体的接口——创造了用户与共享实际物体交互的错觉（Brave等，1998）。
典型台式计算机系统与有形计算之间的区别是：在典型台式计算机系统中（即所谓的图形用户接口或GUIs），物理设备操作与输出设备上数字显示之间的映射是相对间接与松散联系的，显示器上显示的动作与用户所作的动作是完全不同的。例如，用鼠标在字符处理器中选择一个菜单选项或为控制屏幕上的图形定位时，物理操作是在二维水平面上移动鼠标等；输入是物理的，但输出是数字的。就台式计算机来说，这一点非常明显——输入与输出之间的映射是毫无联系的，比如输出一个垂直二维飞机，我们必须在一个水平表面上的二维空间移动鼠标。然而，即使我们在触摸屏（像平板电脑或PDA）上使用尖笔，输入和输出之间仍旧存在不相关感。因为输出以一种不同的显示形式对输入做出反馈——例如输入是物理的，而输出是数字的。相反，有形用户接口（TUIs）在物理和数字之间提供了更加相关的联系——输入与输出之间的区别达到几近模糊的程度。例如当使用算盘时，输入信息与输出表示之间是没有差别的——这种类型的混合就是有形计算所设想的。
2.核心概念的界定：有形计算，泛在计算与扩增现实
“有形计算”是“泛在计算”这一更宽泛概念的一个子集。通常我们认为泛在计算由Mark Weiser提出，之后归属于Xerox PARC（Palo Alto 研究中心）。Weiser提出了未来计算的远景（Weiser,1991），论述了物理世界与虚拟世界相混合的远景，该远景是如此深入地融入到我们的观念中，以至于我们察觉不到。他用印刷文本做了一个类比，印刷文本是符号表征的形式之一，在我们的物理环境中，它是完全泛在与无处不在的（例如商店橱窗中的广告牌、符号等），只要我们是文本的熟练使用者，我们就能好不费力的扫描环境和处理信息，文本消失在背景中，而我们只是好不费力的同它表示的内容进行交互。泛在计算就是计算机如此无缝地融入我们的世界，以至于我们感觉不到它，它似乎消失了。今天，在某种程度上计算机已经做到了这一点，计算机被置入汽车、电灯开关、电话、手表中等。Weiser认为泛在计算就是宁静技术（calm technology）（Weiser & Brown,1996），即与占有用户所有时间的注意相反，技术以无缝的方式融入我们的生活，它占据了我们注意的周围和中心空间，而我们却没有意识到。Ishii和Ullmer（1997）也对用户注意的前景、中心与用户注意的背景、周围之间的泛在计算进行了区别。他们讨论了我们既需要能够使用户通过实际物体，来理解和控制前景数字信息，也需要给用户提供在周围环境中可用的信息的外围意识。第一种情况目前大部分人称作泛在计算，而第二种情况一般被称作环境媒体（ambient media）。这两种情况都是泛在计算，但本综述主要关注第一种情况。
在有形计算中，第三个相关的概念是扩增现实（AR）。在虚拟现实（VR）中，其目标是使用户沉浸于计算世界，而在扩增现实中，物理世界被数字信息扩充与拓展。Paul Milgram创造了“混合现实”这一术语来描述真实世界与虚拟现实之间的区域（Milgram & Kishino，1994）。在AR中，真实场景的视频图片被三维图形覆盖，而在扩增虚拟中，三维虚拟世界的展示被现实世界中的视频覆盖。混合现实如图1所示：
正如我们所看到的，所谓有形计算的很多案例都使用了AR技术，并产生了一些有意思的教育应用。一般说来，泛在计算、有形技术、扩增现实及环境媒体之间的区别是非常模糊或至少说它们重叠的部分非常多。例如，Dourish(2000)将以上几个概念统称泛在计算。泛在计算最早的案例之一就是“方块”，一个由Fitzmaurice、Ishii和Buxton提出的可控用户接口（Fitzmaurice等，1995），它由很多方块组成，这些方块能够被附在虚拟的物体上，因此使得虚拟物体可以被物理控制。Fitzmaurice等列出了可控用户接口的如下特征：①允许用户更多的并行输入，因而提高了计算机的表达和通信性能；②利用了空间推理及为实际物体操作开发的良好、日常和外围技能；③使传统的内部计算机表征具体化；④提供多用户、协作应用。
3.为什么有形技术对学习是有益的？
历史上，儿童已经玩过很多动手项目（像玩积木、七巧板等），无论是自己玩还是和同伴一块玩。Montessori（1912）研究发现，儿童对感知器具极感兴趣，他们本能、独立、重复地使用这些设备，并且注意力非常集中。她相信，儿童在与实物玩耍的过程中，能使自己沉浸于自我引导、有目的的活动。因而，她提倡孩子与实物玩耍，进而促进他们的发展。Resnick将有形接口拓展为教育领域中的“数字操控”（Resnick等，1998），定义为熟悉的、旨在促进学习的、带有计算能力的动手活动。在这里，我们讨论一下物理接口与有形接口:物理交互是基于运动的，而有形在于物体能够被感知和抓住。图2和图3展示了有形技术教育应用最近的两个案例。图2是魔幻行星，在该案例中，实际的桌子被致力于精确实际定位的多个相互重叠的三维动画所扩充，这些三维动画提供儿童与所展示的活动交互时，符合其交互姿势意义的视觉图像。与观察已配置好的动画，或使用鼠标直接控制动画相反，儿童的实际姿势控制着要显示的动作。该案例是新西兰人性化界面技术实验室的renMark Billinghurst及团队所开发的AR应用之一（Billinghurst，2002）。目前，在英国教室中，支持学习的这种技术的应用由Adrian Woolard及同事（工作于新媒体与技术单位的BBC创造性R&D）进行研究（Woolard，2004）。
图3介绍的是有形技术输入/输出刷子（I/O Brush），由麻省理工学院媒体实验室有形媒体团队成员Kimiko、Ryokai、Stefan Marti和Hiroshi Ishii所开发（Ryokai等，2004），作为Futurelab的创新展品，陈列在BETT2005橱柜中。
由于新颖的交互、发现方式及将玩乐融入学习的性能，有形技术被认为拥有为儿童学习和玩耍提供创新形式的潜力（Price等，2003）。Dourish（2001）讨论了“有形小块”的潜力，在这里，数字世界的信息与排列新颖的电子嵌入式实物密切相关，因此同传统的标准台式机相比，它们能提供不同形式的用户交互和系统行为。对学习来说，这些技术被认为通过发现和参与，给学习者提供不同的推理机会（Soloway等，1994；Tapscott，1998）。有形介导的学习（Tangible-mediated learning）也具有允许学习者以新的、不熟悉的方式对已知的和熟悉的东西进行组合与重组的潜力，这就激发了学习者的创造力和反思能力（Price等，2003）。
二、有形用户接口：新的交互形式
我们所描述的每一个框架都强调了这些接口细微不同的特征，这为考虑有形技术的教育可能性提供了一些潜在有意思的方式。描述分类及分析有形技术特征概念框架是从人——机交互接口来思考的，在很多方面，两者具有相同的特征，都包含（尽管形式不同）“表征映射”（representational mapping）这一概念（从紧密关联到松散关联），不管是从操作指示物来说还是从表征的本质与效果来说。但在种类、数量方面以及它们限制和拓展可能技术空间的程度不同。
1.直接操作接口
20世纪80年代之前，与计算机的交互在键盘上输入明确的命令组成，这些命令会导致在电传打印机或监视器上产生文字、数字式字符的输出（字符显示通常局限于24行，每行有80个字符）。80年代中期，个人计算机方面有了一些变革，与以前的命令行接口和键盘不同，技术有了较大发展，它能够使用户通过定点设备及图形用户接口（如视窗、按钮、菜单的桌面系统）进行更加直接的交互。这种系统最早的案例是Star 办公应用——微软Windows操作系统与苹果Macintosh操作系统的先驱。人机交互的研究者称这样的系统为“直接操作”接口（Hutchins等，1986；Shneiderman，1983）。Hutchins等（1986）分析了这些所谓的“直接操作接口”的特征，认为用户对直接操作接口形成的印象包括两个成分：输入行动与输出表征之间相互关联的程度及输入语言可能表达用户目的与目标的程度。
“关联直接”是指输入行动的行为与显示效果直接映射的程度。换句话说，每一个有关联直接的系统都能达到这样的程度：输入设备操作的形式监视着相应的输出行为。在心理学中，刺激反应兼容性（stimulus-response compatibility，SRC）是一个非常熟悉的概念；在现实世界中，SRC的一个案例就是转动方向盘的动作同汽车转到恰当方向的实际动作相映射。Hutchins认为语义直接是指数字表征的意义映射真实世界中实际指示物的程度。就有形数字接口而言，研究者也对以下二者之间的映射进行了分析：①物理控制的形式及效果；②表征的意义及所指的物体。
2.控制与表征
这一部分，笔者将考虑Hutch等关于有形用户接口设计之直接操作分析的范围。前面部分讨论过，在传统的人机交互接口中，输入与输出之间的区别是非常明显的，例如鼠标是输入设备，而显示器是输出设备。在有形用户接口中，这样的区别在两个意义上消失了：①在有形用户接口中，控制达到用户目的效果的设备可能是控制输入输出的统一设备，并且同时进行。②在图形用户接口中，输入通常是物理的，而输出通常是数字的，但在有形用户接口中，数字——物理表征之间的映射有多种形式，反之亦然。Ullmer和Ishii使用最早的计算机——算盘来做类比进行解释：“需要指出的是，算盘并不是一个输入设备。算盘使‘输入’和‘输出’之间的区别消失。算盘的小珠子、棒及框架既作为抽象数字价值与运算的操作物理表征，也作为直接操作潜在关联的物理控制”（Ullmer & Ishii，2000）。
物理表征（physical representation）在这里是非常重要的，因为Ullmer和Ishii认为，正是有形设备的表征意义，使得它不同于鼠标（鼠标几乎没有表征意义）。他们通过描述城市规划图来解释这些差异，在城市规划图中，不是用鼠标控制的显示器上的按钮，而是用建筑物的物理模型作为实际建筑物的物理表征——不是操纵数字表征，而是操纵后来也操纵数字显示的模型（Undrkoffler & Ishii，1999）。Ullmer和Ishii列出了这一方法的如下几个特征：①物理表征与数字信息关联；②物理表征体现了交互控制的机制；③物理表征在感知上同活跃的中介数字表征相关；④有形技术的物理状态体现了系统数字状态的关键方面。
Koleva等（2003）将Ullmer和Ishii的方法进一步向前推进，他们根据相关程度（例如，在物理和数字世界中，物理制品与数字制品是否被看做同一个普通物体，或者它们是否被看作分离但时间相关的物体）将有形接口的分类进一步进行了区分。在他们的方案中，最弱水平的一致性在一般目的工具中可以看到，在这些工具中，一个物理物体可能被用于操纵任何的数字物体，其中的一个例子就是鼠标，在不同的时间，它能控制数个不同的功能（例如菜单、滚动条、窗口及单选框等）。在计算机科学术语中，这些设备叫做“时分多路设备”（time-multiplexed device）（Fitzmaurice等1995）；相反，一种输入设备如果完成一种或只能完成一种功能，那么我们将这样的设备叫做“空间复用设备”（Space-multiplexed device）。
就物理表征和数字表征之间的映射来说，空间复用设备可能被称作高度相关，而时分多路设备就不那么高度相关。除非允许这个范围内的接口类型，否则被认为是有形的接口设备将非常少。事实上，很多声称使用有形用户接口支持学习的案例并不隶属于这一连续统一体严格、高度相关的那一端。在Koleva等的方案中，最强水平的一致性存在于物理表征和数字表征是同一物体的错误概念。泛在计算的一个案例就是黏土照明系统（Illuminating Clay system）（Piper等，2002），在这个系统中，黏土可以被实际地操作，并且由于操作而产生的、投射在黏土表面上的显示也会相应发生变化。Koleva等认为第二个区别存在于物理和数字之间表征映射的本质（意义）。就逐一或一对一的映射来说，物理设备的任何行动都应该同数字物体的行为严格一致，而就转换映射来说，并不存在这样直接的一致性。
3.容器、象征与工具
有形技术的另一个分类由Hlomquist等(1999)提供，他们在容器、符号与工具之间进行了区分，将容器定义为同任何类型的数字信息相关的一般物体。然而，即使容器在功能方面有一些物理相似，但它们并不一定物理地反应那个功能及应用——在吉布森方面，它们缺乏自然“赋予”（Gibson，1979；Norman，1988，1999）。相反，象征被界定为与所表征的信息在物理上相似的物体。例如，在元DESK（Ullmer & Ishii，1997）中，数字地图上的很多物体被设计为物理上相似的建筑，通过移动物理桌面周围的物理建筑，该地图相关的部分就会显示。
最后，在Holmquist等的分析中，工具被定义为用作概念功能表征的物理物体。案例包括在本综述开始提及的方块系统——在该系统中，方块用于控制数字信息（Fitzmaurice等1995）及Storytent系统——在该系统中，使用火把或手电筒同数字显示交互（Green等，2002）。
在这些框架中，重点强调的维度：（1）控制设备的行为与因这些行为而产生的相应的结果，对不同输入设备进行比较：①在一类输入设备中，用户控制的形式是任意的，并且输入与输出之间没有特别的行为含义；②在另一类输入设备中，输入与输出之间的行为含义有非常密切的一致性，这也就是Hutchin等（1986）所指的“关联一致”。这种形式的映射可能导致输入——输出之间一对多的关系，也可能导致一对一的关系。（2）物理——数字表征映射的语义：这涉及物理表征与数字表征之间隐喻的程度，从完全相似（物理设备与它们相对应的数字部分相似）到毫不相似。（3）控制设备的作用：指控制设备的一般特征，而不考虑其行为及表征映射。例如，一个控制设备可以作为数字信息的容器，也可以作为数字指示物的表征性象征，还可以作为表征计算功能的一般工具。（4）对控制设备及输出表征关注的程度：在完全的象征系统中，用户主要的关注点是正在被操作的对象，而不是用户操作对象的工具，这或多或少受控制设备及输出结果的映射中所使用的隐喻之程度的影响。
当然，所有的这些维度及分析框架既不完全独立，也不完整。在有形用户接口试图达到“真正的直接操作”中，至少有两点：①行为与工具（物理的或数字的，用户用其与感兴趣的物体交互）之间的映射；②表征世界的含义和语义与被表征世界之间的映射。
三、为什么有形技术对学习有益？
1.肢体动作在学习中的作用
人们普遍认为，肢体动作对学习来说是非常重要的，心理学领域的诸多研究证据都很好的支持了这一点。皮亚杰及布鲁纳的研究都发现，在儿童能够利用符号解决问题之前，他们只有通过具体材料才能将问题解决——例如，儿童通过将水来回注入粗细不同的容器中，最终发现数量是守恒的（Bruner等，1996；Piaget，1953）。身体运动能够支持思考和学习，例如Reiser（Reiser等，1994）研究发现了运动如何支持儿童分类及如何提高在角度思考与空间想象任务中的记忆力，即使他们不能利用符号执行这些任务。
研究证据表明，即使儿童不能用口头语言表达他们的理解或不能用明确的意识表达所知道的事物，但在某种意义上说，他们也可以理解事物。Godlin Meadow（2003）的研究很好地证明了这一点，他通过很多研究发现了手势是如何帮助思考和学习的。Meadow也认为，伴随语言的手势在一些环境中能够减少个体的认知负荷，而在其他的环境中，能够促进信息的并行处理（Godlin Meadow，2003）。一些研究也发现，触摸物体能够帮助儿童学习数数——这不仅因为触摸能够使儿童跟踪所数的物体，而且也因为触摸能够发展儿童之数字世界与项目标签之间意义的对应关系（Alibali & DiRusso,1997）。Martin和Schwartz研究了9-10的儿童如何利用实际物体（圆形木棍）来解决分数问题。研究发现儿童经常通过神算或提供的材料之图片，不能解决的这些分数问题却能够通过移动物理材料来解决。然而，仅有行为是远远不够的——行为的益处依赖于行为与先前知识之间的特定关系。神经科学的最新研究表明，一些类型的视——空转换同运动系统相互联系，并且可能经由运动系统驱动（Wexler，2002）。同时神经科学的研究也发现，在指算的过程中，能够激活神经区域。指算是学习计算技能的一个发展战略，并且最终能够增强成年人的数字处理技能（Goswami，2004）。
2.教学和学习中物理操作（物理物体）的应用
在教学中，尤其是数学教学及教育发展阶段的初期，物理操作的使用已有一个很长的历史（Dienes，1964；Montessori，1917）。关于为什么操作具体物体能够帮助学习抽象数学概念的争论很多，其中之一便是Chao等（2000）所提出的“智力工具观点”——物理材料的作用源于物理材料显露过程中形成的智力图像的使用，这些物理物体的智力图像会引导和促进问题的解决（Stiqler，1984）。Chao等提出的另一个替代性观点是“抽象观点”——物理材料的价值存在于学习者从各种具体实例中提取作用关系的能力（Bruner，1966；Dienes，1964）。然而，关于物体操作效果的研究结果与传统教学方法并不一致，在传统的教学方法中，通常只有经过大量的教学和练习之后，操作才被认为是有效的（Uttal等，1997）。Uttal等对物理物体（因为它们具体、熟悉和非符号化）使得抽象容易的观点持否定态度。他们认为在使用物理物体的过程中，儿童拥有的困难至少一部分源于他们需要将物体解释为一个表征或其他事物，儿童需要看到和理解操作物体与数学表达的其他形式之间的关系。换句话说，儿童需要了解操作物体的表征功能——它能代表某个事物。
理解象征功能也并不是一个全由或全无的发育结果。研究发现，18个月-2岁的孩子就能够理解一个具体物体拥有一些象征功能（Leslie，1987）。然而，为理解特定的数学概念，对象征关系系统进行推理的能力却需要大量的培训与经验。Deloache对儿童“符号—思想”的发展做了大量研究，通过研究发现，在10个月到3岁之间，儿童的这种“符号——思想”能力就逐渐不断发展，但即使他们能够在物体与符号之间做出区别，他们有时仍旧犯一些奇怪的错误，像试图抓住书籍中的图片（DeLoache等，1998；Pierroutsakos & DeLoache，2003）或试图坐到书中的椅子上等（DeLoache等，2004）。
3.表征映射
我们对Ullmer和Ishii关于物理表征和数字信息之间映射的分析进行了概述，他们提出了一个新的概念——物理图像。在使用这一术语时，他们非常仔细地强调了图像的表征特点，并对其与符号进行了区分。在HCI使用中，一般说来，图像这一术语用来表征任何在显示器上出现的图画表征。哲学家Peirce对索引、图像（icons）和象征（symbol）三个词进行了区分：图像与物体本身表征的意思共享相同的表征特征；符号与它所表示的意义之间的关系是任意的；索引并不凭借共享其表征特征来进行表征，而是真正地代表或指向了它所要表达的意思。在本综述中，我们采用了Peirce对图像的定义。
依据有形接口对学习的赋予进行区分，将是非常有意思的。Bruner（1996）在其学习理论中，对制定形式表征、图像形式表征和符号形式表征进行了区分，他认为在规定领域的概念学习中，儿童按着制定——图像——符号这一表征形式的顺序进行学习。例如，一开始，儿童可能根据各种特征（如大小、颜色、形状等）对物体进行分类——他们自己制定了对分类的理解；如果他们能够通过图片来表征这些分类，那么他们就展示了自己的图像理解；如果他们能够使用口头符号来表征这些分类，那么他们就展示了自己的符号理解。图像表征与其所表征的物体之间有一对一的一致性或者说与其所表征的物体之间有些相似性，它们作为模糊的感觉运动表征（皮亚杰与布鲁纳在其发展理论中，都对其进行了深入研究）与明确、关联的符号表征之间的类比桥（Brown & Clement，1989）。
来自认知发展的更多最新理论也涉及表征系统的渐进明确表达——例如，Karmiloff-Smith在其表征重新描述理论中，就描述了儿童表征从模型形式到清晰形式的过渡。在她的理论中，儿童对某个领域（绘画、数学等）的学习始于对单一外部表征的操作。在这一层次，他们学到了高度具体的程序，这些程序并不适用于修订、自觉修改和口头报告，并且受指定环境条件的激发。逐渐地，这些表征会变得更加灵活，并且其内部也会发生变化。最后，儿童会对自己的表征进行不断的自我否定，并能够将这些规则和程序迁移到其他领域或表征模式中。皮亚杰、布鲁纳及Karmiloff-Smith所描述的“表征变化”在另一个具有高度影响力的学习理论——约翰·安德森学习理论中也有所体现，但却以相反的顺序。安德森的技能习得理论描述了从最初涉及有意识知晓与控制的精确或明确表征到实践自动化和模糊程序的过渡。
在前面部分介绍的关于有形接口表征映射系统的分析至少在表面上可以同认知发展与学习理论中的“表征变化”分析相类比。为支持学习的有形技术设计尽量做一些推理是非常有意思的，进行这一尝试最具影响力的教育研究者是西摩·派珀特（教育信息化奠基人）。
4.从物理表征到数字表征之间的映射：学习之争
派珀特“利用技术学习”的理论深受其导师皮亚杰的影响，其因为儿童开发了Logo编程环境而享誉四海。派珀特认为，基于在三维空间运动的个人感知运动经验，儿童拥有深刻且模糊的空间知识。他认为通过操作另一个物体来给孩子一个空间隐喻，他们就有可能逐渐开发出控制结构(用于达到一定效果，像在屏幕上创造图像表征)更加明确的表征。Logo编程环境为儿童操作海龟提供了一种简单的语言和控制结构。例如输入Logo命令序列，结果或者是鼠标在屏幕上勾勒出一个正方形，或者是机器人围绕地板上的正方形转动（McNerney，2004）。派珀特观点是：与之前更加抽象的教学方法相比，这种身体中心几何或海龟几何（Abelson & diSessa，1981）能够使儿童更容易地学习几何。McNernery这样说明它：它不是立即要求儿童描述如何命令海龟画一个正方形，而是要求儿童通过移动身体来探索如何创造一个正方形。也就是说，事实上正方形是走出来的。经过反复试验，儿童很快学会走几步，右转90度，然后这样重复四次就可以创造一个正方形。在这个过程中，儿童可能会被问及是否是在开始的地方结束的。经过这个练习，儿童就为通过编程让海龟做同样的事情做了很好的准备。最后，儿童得到的回报就是：看到海龟以与自己之前所作的同样动作在地板上转动（McNernery，2004）。
派珀特概括了使用这些活动的诸多学习原则，其观点包括：模糊推理能够清晰化；儿童自己的推理及结果最终能够被自己及他人看见；培养计划与问题解决能力；儿童推理过程中的错误能够清晰化，并且调试这些错误的方式也可用等等，所有这些都促进了儿童元认知能力的发展。
为理解输入表征和输出表征密切相关的有形计算，在该综述的第二部分已提供了与其相关的各种框架。最理想的案例是真正的直接操作——在这样的案例中，用户感觉到他们是和自己感兴趣的物体直接操作，而不是物体的符号表征（Fishkin等，2000）。派珀特的观点也涉及到了物理和数字之间的密切相关性。然而，对派珀特关于Logo、海龟几何及身体中心几何（McNerney，2004）具有很大优势的观点来说，很重的一个概念就是学习者的反思。对海龟几何来说，儿童并不是依赖身体在空间运动的经验来画正方形这样一件自然而然的事情，而是命令另一个物体产生与自己相同的行为，以对自己明晰的知识做出反馈。
“真正的直接操作”对学习来说也许并非最好的，接口设计的目标也并非总是提供“透明”接口，有时“不透明性”也可能是适合的，只要它能使学习者对自己的行动进行反思（O’Malley,1992）。在学习环境中，我们至少需要考虑表征映射的三个层次：①学习领域的表征（例如代表数学概念的符号系统）；②学习活动的表征（例如在屏幕上操作二烯烃块）；③内置于工具中的表征（例如通过使用鼠标来操作屏幕上的方块VS在真实世界实际移动方块）。
当设计学习的接口时，主要目标可能不是新物体的速度与易用。Golightly和Gilmore（1997）研究发现，同更加容易使用的接口相比，更加复杂的借口能够产生更加有效的问题解决。他们认为，对学习和问题解决来说，透明直接接口设计的规则需要被打破，设计应该降低学与习者执行任务不相关内容的认知负荷，从而使他们将认知资源合理分配于理解学习任务的教育内容。在Marshall等（2003）对促进学习的有形接口的分析中，也提出了同样的观点。
Marshall等讨论了两种形式的有形技术学习：表达形式与探究形式。他们借鉴了哲学家海德格尔创造的术语“应手状态”（readiness-to-hand），然后被Winograd和Flores（1996）用于人机接口设计，最近又被Dourish（2001）用于有形接口设计。这一概念暗示了我们利用工具工作的方式：我们关注于使用工具的任务，而不是工具本身。和应手状态相对的是“在手状态”（present-at-hand），其关注于工具本身。在Ackermann研究的基础上，他们认为有效的学习包括对领域的反思、具体化与推理，而不仅仅是在其中行动。
Marshall等提出的表达技术系统是指能够使学习者创造他们自己外部表征的技术——犹如Resnick提出的“数字操作”（digital manipulatives）（源于派珀特的惯例与Logo编程）。他们认为，通过学习者自己对明确主体的理解，他们能够使明显的矛盾、冲突观点和错误假设更加清晰可见。
Marshall等将这些表达形式的技术与探究技术系统相比较，在探究技术系统中，学习者关注于系统工作的方式，而不是他们正在建构的外部表征，这与派珀特关于调试程序对学习价值的观点相同。当程序不按他们预期的方式运行或机器人不按他们预期的方式工作时，学习者就必须返回，并对程序本身或技术本身进行反思，从而理解错误或故障出现的原因。通过这样做，他们开始对自己使用的技术进行反思。这一点也与情境学习的观点相一致：学习发生于“应手状态”破裂的时候。
Marshll等人认为有效的学习源于在“应手状态”（利用系统完成任务）与“在手状态”（关注技术本身）两种模式之间的跋涉。他们也提出了学习中利用有形技术的两种活动形式：表达活动——有形技术表征或体现了学习者行为（物理的或数字的）的活动；探究活动——学习者探究由设计者提供的、内嵌于有形接口的模型。探究活动既可以在实践层面执行，也可以在理论层面执行。
Sedig等做所做的研究对Marshll等的观点提供了一些支持。他们研究了接口操作方式对反思认知与概念学习的作用，设计了三种形式的七巧板：①直接物体操作（DOM）接口：在这种接口中，用户操作物体的视觉表征；②直接概念操作（DCM）接口：在这种接口中，用户操作被用于物体变形的视觉表征；③反思性直接概念操作（RDCM）接口：在这种接口中，通过脚手架使用DCM方式。通过对44个11-14的儿童进行研究发现，RDCM小组的学习结果明显优于DCM组，而DCM组又明显优于DOM组很多。
由Deloache及同事所做的关于儿童对符号理解及推理发展的研究使该领域研究者在有形技术领域中的物理——数字表征映射中为学习汲取含义时，提供了另一条注意。Deloache等（1998）认为，即使最明显或最形象的符号，我们也不能假设它们能够被孩子自然的理解为另一事物的表征，而不是符号本身。我们可能被诱导，认为高度逼真的模型或图片（符号与指示物极为相似）几乎不需要学习，即使很小的婴儿也能从图片上识别出信息。Deloache等认为识别出图片与指示物之间相似并不等同于理解了图片的本质。她与同事经过多年的研究发现，理解符号的问题并不仅仅存在于婴儿中，在儿童中也存在。
例如，儿童（2.5岁左右）在理解将房间的微型模型作为模型使用时存在困难。他们能很好的理解这是一个模型，并能够找出藏在这个微型模型中的物体，但他们在使用这一模型作为线索，在与模型完全相同的房间中找出与藏在微型模型中完全一致的真实物体时，却面临极大的困难（DeLoache，1987）。DeLoache认为这源于在这样的任务中表征的双重本质。在这些模型作为另一个空间的表征时，它们本身也是物体——例如，在微型房间中也可以藏东西。同时她也声称，儿童发现这样的任务很难，并且她认为这类模型既可以作为表征、亦可以作为有意思的物体，部分原因在于其本身作为一个物体就极富吸引力。她通过让孩子使用真实房间的图片而不是微型模型来验证自己的的理论，结果表明，很多儿童觉得任务简单了。这个研究及其他相关研究使得DeLoache及其同事提出，在假设高度真实的表征以某种方式使得从表征到指示物之间映射的任务更加容易时要特别谨慎。事实上，这恰恰与我们所期望的效果相反。她们认为，儿童在学习使用符号的任务时，意识到符号本身的特征比意识到符号所表征的物体更加重要。所以，将符号制作成高度逼真的具体物体，对儿童来说，意义更加模糊而不是更加清晰了。当然，将这些操作应用于大一些的儿童时，我们也要特别谨慎。
研究已经表明，藉由设计良好的学习活动，儿童（不管年龄大小）能够解决问题，并能够利用具体的物理物体执行符号操作任务，尽管当他们使用更加抽象的表征时，不能执行这样的任务。这并不是说物体是具体的，因而使得理解更加容易，而是说身体活动本身能够帮助建立表征映射，这些表征映射用于加强练习之后符号化的活动及感知运动表征的相继说明。然而，其他的研究也表明，建构适切的活动，以支持儿童对表征映射本身进行反思是非常重要的。DeLoache的研究表明，使儿童的注意力集中于像极了物体的符号可能会使他们更难将符号思考为表征。Marshall等（2003）也提出了有形技术支持的两种学习活动：表达形式活动与探究形式活动，并认为学习应处于两者之间。
四、利用有形技术学习的案例研究
1.物理图像：物理物体用作数字图像
最近针对非常小的儿童，研究者设计了各种数字玩具。CACHET项目（Luckin等，2003）探索了交互玩具在支持协作中的应用，玩具的目标对象是4-7岁的儿童。在该玩具中内置了传感器，这些传感器通过儿童操作玩具的各个部分被激发。这些玩具也可以同个人计算机相连，及同游戏软件交互来提供帮助（提供游戏内的帮助）。Luckin等对带有屏幕帮助软件的应用与来自于有形接口的软件应用进行比较，发现玩具的存在提高了儿童与他人及教师的交互。游戏垫子（Ryokai & Cassell，1999）是一个软件交互游戏垫子，它能够记录和重放儿童的故事，其目的是支持协作讲故事。空间的设计用来鼓励儿童使用软件玩具讲故事，当玩具的移动投射被投射在垫子上时，这些故事就被重放，并且伴随着相关的声音。因此，儿童既能够激活其他儿童讲的故事，也可以对这些故事进行编辑及创造自己的故事等。
在KidStory项目中，RFID标签作为故事角色内置于玩具中，当儿童将道具移动到特征阅读器附近时，就会触发相应的事件，包括角色呈现在屏幕上。有形观点系统（Mazalek等，2002）使用物理物体在多重观点故事中引航。当将物体放于交互表面时，与其角色观点相关的故事片段就会以图片或文本的形式在其周围放映出来。Chromarium是一个混合现实活动空间，它使用有形技术来帮助5-7岁的儿童试验或学习颜色混合（Rogers等，2002）。通过使用各种各样的物理和数字工具，儿童可以尝试各种不同混合颜色的方式。例如，其中的一个活动就是让儿童使用物理方块将不同颜色与每一物理方块表面的颜色相结合。通过将两块方块放在一起，儿童能够对颜色以及临近显示器上出现的数字动画相结合。通过带有反馈的颜色结合或颜色的重新结合，儿童能够直觉地同有色方块进行交互。另一个活动可以使儿童使用数字交互表面上的软件工具（不同于画笔）。在这个活动中，儿童能够拖拉或丢下不同的有色数字圆盘，来观察相应的混合。第三个活动也允许儿童使用数字交互表面，但这一次，儿童与数字图片的交互引发了相邻玩具风车的物理运动。通过对这些数字表征与物理表征之间的不同映射进行比较，Rogers等（2002）发现，熟悉的肢体动作与不熟悉的数字效果之间的关联在促使儿童对经历进行讨论及反思等方面非常有效。使混合颜色可逆的活动与立即反馈能够更加有效地支持反思活动，尤其是物理方块给儿童提供了一个更加多样的物理操作来鼓励他们探索。
2.传感器与数字探针
这一部分描述了一系列基于物理工具的有形设备，它们作为环境(像光、颜色、湿度)的传感器或探针。有形讲故事的设备包括与展示交互的普通闪光灯或光束。例如Storytent（Green等，2002）利用闪光控制帐篷（在帐篷上，有一个三维虚拟世界）上的物体。另一个使用闪光灯作为有形技术的案例是与数字Sandpin的交互，当用户协作将闪光照射在沙子上时，就会通过地面燃烧出一个虚拟的洞，来揭示下面的、用于告知诺丁汉城堡历史的图片（Fraser等，2003）。
使用物理工具与数字物体交互的另一个案例来源于前面提及的KidStory项目，在该项目中，用地板上的压力口为儿童创造一个“魔力毯”，通过它来引导儿童在三维虚拟世界中，协作完成他们的故事（Stanton等，2001a）。输入/输出刷（Ryokai等，2004）是针对四岁以上儿童设计的绘画工具,它以实际的物理绘画刷为模型，在其内部装入了一个很小的、带有光的视频照相机及光束传感器，其目的是帮助儿童思考艺术家使用颜色及纹理的方式。儿童可以在任何物理表面上移动这个刷子，来挑选颜色和纹理，然后在画布上描绘。研究者发现，当在幼儿园课堂中使用这个刷子时，儿童能够清晰的说出其环境中可用的模式与特点。
SENSE项目探究了用于支持实践方法（该方法用于科学课程的学习）的传感器技术的潜力。两个参与学校的学生都在自己当地环境设计和使用了污染传感器。该技术包括PDA和一氧化碳污染传感器。传感器的不同面上涂有不同颜色，这样当儿童随后检查传感器上的视频数据时，传感器面向哪个方向将非常清晰。通过这个设备，儿童就能够获取自己的传感器数据，而这些数据被下载到另外的视觉技术中，帮助他们分析数据，并理解科学家进行相关研究时相似的数据收集情形。
尽管我们在这一部分提及的很多关于物理图像的技术涉及相当复杂的系统，但想象相当简单、便宜的解决方案是可能的。例如，条形码标签及特征阅读器都是相当便宜的，标签能够内置于多种物体中，唯一稍微有点复杂的方面就是如何通过编程利用特征阅读器产生的数据。最后，传感器与数字探针在英国课堂，尤其是科学课中（以数据录入系统的形式）已有很长的一段应用历史。PDA及技术（像GPS）不断增加的易获取性使得考虑更加复杂、泛在的基于传感器系统的应用成为可能。教师甚至可以思考如何利用儿童的手机（尤其是随着能照相的手机可用性）作为探针来输入信息，并在班内分享这些信息。
五、对未来研究、应用、政策和实践的启示
对来自心理学领域和教育领域与物理物体相关的一些研究证据，人们认为物理操作对学习来说是有益的，因为：①身体行为在学习中是很重要的——儿童能通过自己的身体行为（像手势）来展示所学的知识，即使他们不能用语言表达；②具体物体在学习中是很重要的——例如，儿童通常能通过提供的具体物体来解决问题，即使他们不能通过符号或自己的大脑来解决；③物理材料能够使学习者产生智力图像，这些图像能引导和促使学习者在缺乏物理材料时将问题解决；④学习者能从多种具体实例中提取符号关系；⑤与更加符号化的物体相比，熟悉的物理物体能比较容易的被儿童理解。
此外，对有形接口和数字物体提出了如下几点：①支持并行输入，进而提高了与计算机进行表达和交流的能力；②在物理物体操作及空间推理方面，他们利用了先进的动作技能；③将传统的内部计算机表征外显化；④支持多用户协作应用；⑤物理表征体现了更加多样化的交互控制机制；⑥物理表征与积极介导的数字表征相关；⑦有形技术的物理状态体现了系统数字状态的关键方面。
1.对设计与使用的启示
尽管研究证据表明，使用具体物体的肢体活动能够支持学习，但其作用的发挥却依赖于活动与先前知识之间的联系，以及物理物体和数字物体之间特定的表征映射关系。例如，很多研究表明，如果物理物体做的太逼真，就会阻碍儿童（尤其是年龄很小的儿童）学习物体所表征的意思。通过对其他的研究进行综述，笔者也发现，所谓的“真正直接操作”（Gishkin等，2000）对以鼓励学习者反思和抽象为学习目标的应用型学习来说，可能并不是最理想的。一些研究者发现，“透明”或“真正易用”的接口有时会导致不太有效的学习，我们有时需要更多的，而不是更少的努力使学习发生。当然，由此得出我们应将支持学习的接口设计地非常难用也是错误的，我们的目的是将学习者的注意力和努力引向学习活动的目标，而不是让接口阻碍学习者的学习。派珀特也认为，允许学生建构自己的接口，可以使他们将注意力集中于将模糊知识清晰化。其他的一些研究者（Marshall等，2003）也支持这一观点，认为有效的学习应该包括表达活动（在这些活动中，有形技术表征或体现了学习者的行为）和探究活动（在这些活动中，学习者探究内置于有形接口的模型）。
2.对政策与实践的启示
在本综述中提及的很多技术，目前并没应用于教室，仍旧处于早期的原型形式。但一些技术，像Logo等已经用于小学教室很多年了，并且对一些技术只要稍作编程努力，就具有很大的潜在应用价值（像条形码，RFID标签等）。扩增现实软件也可以作为公共领域的工具包，与其他一般照相机、投影仪等一块应用，来为儿童创造更加有效的扩增现实实例——犹如由Adrian Woolard和同事在BBC创造性R&D所做的创新性工作。在中学科学中，数据记录与传感器等已使用了很多年。新的便携技术像PDA拓展了致力于创造强有力的校外移动学习环境系统的灵活性。即使这些技术目前还不能用，但这些方法背后的教育原理却可以作为思考教与学各科目中使用ICT创意的源泉。尤其是在儿童成长的早期，我们需要认识到，儿童可能并不理解在学习活动中所使用的物体表征意义，他们需要脚手架来帮助自己对物体特征及所表征更加抽象的特征之间的关系进行推理。
我们希望教师能够从“技术支持的学习以超越台式机及教室内的计算机”（例如，在基于ICT的活动与其他更多的物理活动之间创建联系）这一观点中得到更多的启示。例如，交互白板对教师来说是非常有吸引力的，因为他们可以使用熟悉的大班授课方式，但与PowerPoint相比，它们有更大的潜力。教师可以鼓励学生通过收集展示所需的信息与白板会议进行积极交互。教室中的物理展示可能与带照相的手机或数字照相机提供的数字展示联系起来。教师可能鼓励学生使用物理模型或三维物体或在纸上，模仿在屏幕上显示的活动。与传统垂直屏幕相比，数字展示可能以更加富于想象力的方式呈现，例如将内容投射在地板上，可以使学生围坐在共享的屏幕周围。展示可以与物理物体组合使用，教师能够通过操纵鼠标或显示器后的键盘，对展示做出一些变化，展示也可以投放在直板电脑上。这些变化不仅能加强基于计算机的表征与非基于计算机的表征之间的联系，而且也使社会与协作关系以有趣的方式发生变化。
[参考文献]
［1］Ackermann, E (1999). Pretense, models and machines, in: J Bliss,P Light and R Saljo(Eds),Learning Sites:Social and Technological Contexts for Learning(pp144-154). Elsevier.
［2］Ainsworth, S and VanLabeke, N (2004).Multiple forms of dynamic representation. Learning and Instruction, 14, 241-255.
［3］Chao, SJ, Stigler, JW and Woodward, JA (2000). The effects of physical material son kindergartners’learning of number concepts. Cognition and Instruction, 18(3),285-316.
［4］DeLoache, JS (2004). Becoming symbolminded. Trends in Cognitive Sciences, 8(2), 66-70.
［5］Fishkin, KP (2004). A taxonomy for and analysis of tangible interfaces. Personal and Ubiquitous Computing, 8(5), 347-358.
［6］Papert, S (1980). Mindstorms: Children, Computers and Powerful Ideas. Brighton: Harvester.
［7］Marshall, P, Price, S and Rogers, Y (2003). Conceptualising tangibles to support learning. Proceedings of the Interaction Design and Children (IDC’03), Preston, UK, ACM Press.
［8］MacKinnon, KA, Yoon, S and Andrews, G(2002). Using ‘Thinking Tags’to improve understanding in science:a genetics simulation.Proceedings of the Conference on Computer Suuport for Collaborative Learning (CSCL 2002), Boulder, CO.
［9］McNerney, T (2004). From turtles to tangible programming bricks:explorations in physical language design.Personal and Ubiquitous Computing, 8(5), 326-337.
［10］O’ Malley, C and Stanton, D (2002). Tangible technologies for collaborative storytelling.Proceedings of the 1st European Conference on Mobile and Contextual Learning (MLearn 2002), pp3-7.
[资料来源]
本综述报告刊发在英国的Futurelab中，供感兴趣的研究者进行讨论和评论。读者查阅原文可访问该网址获取：http://www.futurelab.org.uk/
[作者/译者简介]
Claire O’Malley:博士，英国诺丁汉大学心理学学院学习科学研究所教授，研究专长包括协作学习与问题解决、学习技术、人机交互等，在这些方面研究成果颇丰，发表论文数篇。
Danae Stanton Fraser：博士，英国巴斯大学心理学系，研究专长包括技术支持的学习效果的评价等，在这些方面研究成果颇丰，出版著作数本、发表论文数篇。
杨玉芹，在读硕士，华南师范大学教育信息技术学院，主要研究方向为教育技术学基本理论、用户信息行为。
焦建利，博士，华南师范大学教育信息技术学院教授。
Literature Review in Learning with Tangible Technologies
Claire O’Malley 1 Danae StantonFraser2 YANG Yu-qinJIAO Jian-li3
(1. Learning Sciences Research Institute, School of Psychology, University of Nottingham;
2. Department of Psychology, University of Bath
3. Future Education Research Center, South China Normal University, Gangzhou Guangdong 510631)
【Abstract】 We have tried in this review to outline the interactional capabilities afforded by tangible technology by analysing the properties of forms of action and representation embodied in their use. We have also reviewed some of the relevant research from developmental psychology and education in order to draw out implications for the potential benefits and limitations of these approaches to learning and teaching.we present case studies of educational applications of tangible technologies. Finally, implications are drawn for future research, applications and practice.
【Keywords】 Tangible computing; Ubiquitous computing; Augmented reality
本文责编：陶 侃
［关键词］ 有形计算；泛在计算；扩增现实
一、引言
在本综述中，笔者并不对有形技术是否优于其他目前已经接受的、支持学习的ICT应用进行辩论，只希望读者能够了解技术促进学习与教学的一些新的可能性。在这些可能性中，一些可以通过相对简单、低廉的技术达到，而另一些依旧处于开发的早期阶段，涉及复杂的基于视频的图像分析或机器人技术的应用等。当然，提及这一点并不是为了说明技术的复杂性，而是为了说明技术交互的创新形式——它们能够给学习提供新的可能性。通过分析目前有形技术使用中活动形式及呈现形式的性能，笔者尝试对有形技术提供的交互性能进行概述。同时也对不断发展的心理学领域与教育领域中的一些相关研究进行综述，从而为有形技术支持的学习研究汲取理论基础。尽管在本综述中提供的诸多教育案例只涉及儿童的使用，但一些也涉及中学生的使用。一般来说，交互性与教育性原则适合于各年龄段群体与情境的学习。
现在，几乎没有人不同意这一观点：信息通信技术（ICT）对学习和教学来说是非常重要的，不管该观点是职业的（对年轻人来说，为应付学校外生活，在ICT方面更加熟练和有较高的信息素养是非常重要的）还是技术幻想的（ICT提供了其他方式不能轻易提供的强健的学习经历）。毫无疑问，最近一些年，无论在正规的学校环境还是非正规的家庭环境，ICT的接受与使用都取得了巨大进步，并且ICT对儿童学习产生了诸多积极影响（Cox等，2004a，2004b；Harrison等，2002）。然而，ICT在学校应用的发展似乎落后于其在生活领域的发展（像工厂、家庭）。现在，技术正不断地融入我们的日常生活：例如，当我们去购物时，超市会用条形码来计算我们购买商品的价值；置入我们信用卡的微晶片及忠诚卡的磁条，被超市及银行用来从我们银行的帐户取钱、存量管理控制及预测我们的消费模式等等；公共场所的传感器用于记录我们的活动；我们通过移动手机通讯，使我们所在的位置可以被精确地定位；我们使用远程控制设备来控制娱乐系统、车库门及其他门的开关；在洗衣机、报警装置、加热装置方面，我们的家庭被微型计算机控制着。据调查发现，每个有孩子的中等收入家庭平均拥有3.5个移动电话（UKclubculture，2004）。
在英国，大部分学校都拥有ICT配置相当好的教室和实验室，但它们却几乎没有可能成为教授和学习核心课程的主角。现在很多学校开始采用便携式电脑、交互白板或灵敏板，一些学校甚至正在试验PDA的使用等，技术的角色正在逐渐发生变化。然而，尽管技术发生了很大变化，但教学和学习实践的组织形式却几乎没有发生变化。然而，在校外技术却有一个日益增长的趋势，它们逐渐摆脱了台式计算机的传统形式。在人机交互（HCI）领域，传统的桌面隐喻逐渐被真实物理环境与数字世界之间不同关系的研究所取代。在校外，开始看到逐渐被人们所熟知的“有形”接口的发展。
1.有形技术：从图形用户接口（GUIs）到有形用户接口（TUIs）
首先介绍一下“有形”这一术语的短暂历史。简单的输入设备（像键盘、鼠标等）用来控制和操作着数字空间，同时它们也用于控制和操作输出设备（像监视器、白板等）上显示的事物。有形接口试图消除输入——输出的区别，并努力开启新的交互（这些交互将物理世界与数字世界混合在一起）可能性（Ullmer & Lshii，2000）。当回顾TUIs的背景时，大部分人趋向于提及1997年发表，由MIT媒体实验室的Hiroshi Ishii和Brygg Ullmer所写的论文，他们创造了“有形小片”这一术语：通过使数字信息有形，弥合赛博空间和物理环境间隙的尝试（Ishii & Ullmer，1997，p235）在使用“小块”这一术语时，他们故意使用了一个双关语——我们使用“小块”这一术语既指物理物体，也指计算机中的数字物体（像二进制数字）。因此，有形小块这一术语以同样的方式考虑数字物体与物理物体。有形接口在输入和输出两方面都强调触感和肉体性。通常，有形接口同实际物体的物理表现密切相关。应用从复原[例如，有形技术能够使个体实践通过轻抚来制作热饮料（Edmans等，2004）]到造访共享分布式空间的基于物体的接口——创造了用户与共享实际物体交互的错觉（Brave等，1998）。
典型台式计算机系统与有形计算之间的区别是：在典型台式计算机系统中（即所谓的图形用户接口或GUIs），物理设备操作与输出设备上数字显示之间的映射是相对间接与松散联系的，显示器上显示的动作与用户所作的动作是完全不同的。例如，用鼠标在字符处理器中选择一个菜单选项或为控制屏幕上的图形定位时，物理操作是在二维水平面上移动鼠标等；输入是物理的，但输出是数字的。就台式计算机来说，这一点非常明显——输入与输出之间的映射是毫无联系的，比如输出一个垂直二维飞机，我们必须在一个水平表面上的二维空间移动鼠标。然而，即使我们在触摸屏（像平板电脑或PDA）上使用尖笔，输入和输出之间仍旧存在不相关感。因为输出以一种不同的显示形式对输入做出反馈——例如输入是物理的，而输出是数字的。相反，有形用户接口（TUIs）在物理和数字之间提供了更加相关的联系——输入与输出之间的区别达到几近模糊的程度。例如当使用算盘时，输入信息与输出表示之间是没有差别的——这种类型的混合就是有形计算所设想的。
2.核心概念的界定：有形计算，泛在计算与扩增现实
“有形计算”是“泛在计算”这一更宽泛概念的一个子集。通常我们认为泛在计算由Mark Weiser提出，之后归属于Xerox PARC（Palo Alto 研究中心）。Weiser提出了未来计算的远景（Weiser,1991），论述了物理世界与虚拟世界相混合的远景，该远景是如此深入地融入到我们的观念中，以至于我们察觉不到。他用印刷文本做了一个类比，印刷文本是符号表征的形式之一，在我们的物理环境中，它是完全泛在与无处不在的（例如商店橱窗中的广告牌、符号等），只要我们是文本的熟练使用者，我们就能好不费力的扫描环境和处理信息，文本消失在背景中，而我们只是好不费力的同它表示的内容进行交互。泛在计算就是计算机如此无缝地融入我们的世界，以至于我们感觉不到它，它似乎消失了。今天，在某种程度上计算机已经做到了这一点，计算机被置入汽车、电灯开关、电话、手表中等。Weiser认为泛在计算就是宁静技术（calm technology）（Weiser & Brown,1996），即与占有用户所有时间的注意相反，技术以无缝的方式融入我们的生活，它占据了我们注意的周围和中心空间，而我们却没有意识到。Ishii和Ullmer（1997）也对用户注意的前景、中心与用户注意的背景、周围之间的泛在计算进行了区别。他们讨论了我们既需要能够使用户通过实际物体，来理解和控制前景数字信息，也需要给用户提供在周围环境中可用的信息的外围意识。第一种情况目前大部分人称作泛在计算，而第二种情况一般被称作环境媒体（ambient media）。这两种情况都是泛在计算，但本综述主要关注第一种情况。
在有形计算中，第三个相关的概念是扩增现实（AR）。在虚拟现实（VR）中，其目标是使用户沉浸于计算世界，而在扩增现实中，物理世界被数字信息扩充与拓展。Paul Milgram创造了“混合现实”这一术语来描述真实世界与虚拟现实之间的区域（Milgram & Kishino，1994）。在AR中，真实场景的视频图片被三维图形覆盖，而在扩增虚拟中，三维虚拟世界的展示被现实世界中的视频覆盖。混合现实如图1所示：
正如我们所看到的，所谓有形计算的很多案例都使用了AR技术，并产生了一些有意思的教育应用。一般说来，泛在计算、有形技术、扩增现实及环境媒体之间的区别是非常模糊或至少说它们重叠的部分非常多。例如，Dourish(2000)将以上几个概念统称泛在计算。泛在计算最早的案例之一就是“方块”，一个由Fitzmaurice、Ishii和Buxton提出的可控用户接口（Fitzmaurice等，1995），它由很多方块组成，这些方块能够被附在虚拟的物体上，因此使得虚拟物体可以被物理控制。Fitzmaurice等列出了可控用户接口的如下特征：①允许用户更多的并行输入，因而提高了计算机的表达和通信性能；②利用了空间推理及为实际物体操作开发的良好、日常和外围技能；③使传统的内部计算机表征具体化；④提供多用户、协作应用。
3.为什么有形技术对学习是有益的？
历史上，儿童已经玩过很多动手项目（像玩积木、七巧板等），无论是自己玩还是和同伴一块玩。Montessori（1912）研究发现，儿童对感知器具极感兴趣，他们本能、独立、重复地使用这些设备，并且注意力非常集中。她相信，儿童在与实物玩耍的过程中，能使自己沉浸于自我引导、有目的的活动。因而，她提倡孩子与实物玩耍，进而促进他们的发展。Resnick将有形接口拓展为教育领域中的“数字操控”（Resnick等，1998），定义为熟悉的、旨在促进学习的、带有计算能力的动手活动。在这里，我们讨论一下物理接口与有形接口:物理交互是基于运动的，而有形在于物体能够被感知和抓住。图2和图3展示了有形技术教育应用最近的两个案例。图2是魔幻行星，在该案例中，实际的桌子被致力于精确实际定位的多个相互重叠的三维动画所扩充，这些三维动画提供儿童与所展示的活动交互时，符合其交互姿势意义的视觉图像。与观察已配置好的动画，或使用鼠标直接控制动画相反，儿童的实际姿势控制着要显示的动作。该案例是新西兰人性化界面技术实验室的renMark Billinghurst及团队所开发的AR应用之一（Billinghurst，2002）。目前，在英国教室中，支持学习的这种技术的应用由Adrian Woolard及同事（工作于新媒体与技术单位的BBC创造性R&D）进行研究（Woolard，2004）。
图3介绍的是有形技术输入/输出刷子（I/O Brush），由麻省理工学院媒体实验室有形媒体团队成员Kimiko、Ryokai、Stefan Marti和Hiroshi Ishii所开发（Ryokai等，2004），作为Futurelab的创新展品，陈列在BETT2005橱柜中。
由于新颖的交互、发现方式及将玩乐融入学习的性能，有形技术被认为拥有为儿童学习和玩耍提供创新形式的潜力（Price等，2003）。Dourish（2001）讨论了“有形小块”的潜力，在这里，数字世界的信息与排列新颖的电子嵌入式实物密切相关，因此同传统的标准台式机相比，它们能提供不同形式的用户交互和系统行为。对学习来说，这些技术被认为通过发现和参与，给学习者提供不同的推理机会（Soloway等，1994；Tapscott，1998）。有形介导的学习（Tangible-mediated learning）也具有允许学习者以新的、不熟悉的方式对已知的和熟悉的东西进行组合与重组的潜力，这就激发了学习者的创造力和反思能力（Price等，2003）。
二、有形用户接口：新的交互形式
我们所描述的每一个框架都强调了这些接口细微不同的特征，这为考虑有形技术的教育可能性提供了一些潜在有意思的方式。描述分类及分析有形技术特征概念框架是从人——机交互接口来思考的，在很多方面，两者具有相同的特征，都包含（尽管形式不同）“表征映射”（representational mapping）这一概念（从紧密关联到松散关联），不管是从操作指示物来说还是从表征的本质与效果来说。但在种类、数量方面以及它们限制和拓展可能技术空间的程度不同。
1.直接操作接口
20世纪80年代之前，与计算机的交互在键盘上输入明确的命令组成，这些命令会导致在电传打印机或监视器上产生文字、数字式字符的输出（字符显示通常局限于24行，每行有80个字符）。80年代中期，个人计算机方面有了一些变革，与以前的命令行接口和键盘不同，技术有了较大发展，它能够使用户通过定点设备及图形用户接口（如视窗、按钮、菜单的桌面系统）进行更加直接的交互。这种系统最早的案例是Star 办公应用——微软Windows操作系统与苹果Macintosh操作系统的先驱。人机交互的研究者称这样的系统为“直接操作”接口（Hutchins等，1986；Shneiderman，1983）。Hutchins等（1986）分析了这些所谓的“直接操作接口”的特征，认为用户对直接操作接口形成的印象包括两个成分：输入行动与输出表征之间相互关联的程度及输入语言可能表达用户目的与目标的程度。
“关联直接”是指输入行动的行为与显示效果直接映射的程度。换句话说，每一个有关联直接的系统都能达到这样的程度：输入设备操作的形式监视着相应的输出行为。在心理学中，刺激反应兼容性（stimulus-response compatibility，SRC）是一个非常熟悉的概念；在现实世界中，SRC的一个案例就是转动方向盘的动作同汽车转到恰当方向的实际动作相映射。Hutchins认为语义直接是指数字表征的意义映射真实世界中实际指示物的程度。就有形数字接口而言，研究者也对以下二者之间的映射进行了分析：①物理控制的形式及效果；②表征的意义及所指的物体。
2.控制与表征
这一部分，笔者将考虑Hutch等关于有形用户接口设计之直接操作分析的范围。前面部分讨论过，在传统的人机交互接口中，输入与输出之间的区别是非常明显的，例如鼠标是输入设备，而显示器是输出设备。在有形用户接口中，这样的区别在两个意义上消失了：①在有形用户接口中，控制达到用户目的效果的设备可能是控制输入输出的统一设备，并且同时进行。②在图形用户接口中，输入通常是物理的，而输出通常是数字的，但在有形用户接口中，数字——物理表征之间的映射有多种形式，反之亦然。Ullmer和Ishii使用最早的计算机——算盘来做类比进行解释：“需要指出的是，算盘并不是一个输入设备。算盘使‘输入’和‘输出’之间的区别消失。算盘的小珠子、棒及框架既作为抽象数字价值与运算的操作物理表征，也作为直接操作潜在关联的物理控制”（Ullmer & Ishii，2000）。
物理表征（physical representation）在这里是非常重要的，因为Ullmer和Ishii认为，正是有形设备的表征意义，使得它不同于鼠标（鼠标几乎没有表征意义）。他们通过描述城市规划图来解释这些差异，在城市规划图中，不是用鼠标控制的显示器上的按钮，而是用建筑物的物理模型作为实际建筑物的物理表征——不是操纵数字表征，而是操纵后来也操纵数字显示的模型（Undrkoffler & Ishii，1999）。Ullmer和Ishii列出了这一方法的如下几个特征：①物理表征与数字信息关联；②物理表征体现了交互控制的机制；③物理表征在感知上同活跃的中介数字表征相关；④有形技术的物理状态体现了系统数字状态的关键方面。
Koleva等（2003）将Ullmer和Ishii的方法进一步向前推进，他们根据相关程度（例如，在物理和数字世界中，物理制品与数字制品是否被看做同一个普通物体，或者它们是否被看作分离但时间相关的物体）将有形接口的分类进一步进行了区分。在他们的方案中，最弱水平的一致性在一般目的工具中可以看到，在这些工具中，一个物理物体可能被用于操纵任何的数字物体，其中的一个例子就是鼠标，在不同的时间，它能控制数个不同的功能（例如菜单、滚动条、窗口及单选框等）。在计算机科学术语中，这些设备叫做“时分多路设备”（time-multiplexed device）（Fitzmaurice等1995）；相反，一种输入设备如果完成一种或只能完成一种功能，那么我们将这样的设备叫做“空间复用设备”（Space-multiplexed device）。
就物理表征和数字表征之间的映射来说，空间复用设备可能被称作高度相关，而时分多路设备就不那么高度相关。除非允许这个范围内的接口类型，否则被认为是有形的接口设备将非常少。事实上，很多声称使用有形用户接口支持学习的案例并不隶属于这一连续统一体严格、高度相关的那一端。在Koleva等的方案中，最强水平的一致性存在于物理表征和数字表征是同一物体的错误概念。泛在计算的一个案例就是黏土照明系统（Illuminating Clay system）（Piper等，2002），在这个系统中，黏土可以被实际地操作，并且由于操作而产生的、投射在黏土表面上的显示也会相应发生变化。Koleva等认为第二个区别存在于物理和数字之间表征映射的本质（意义）。就逐一或一对一的映射来说，物理设备的任何行动都应该同数字物体的行为严格一致，而就转换映射来说，并不存在这样直接的一致性。
3.容器、象征与工具
有形技术的另一个分类由Hlomquist等(1999)提供，他们在容器、符号与工具之间进行了区分，将容器定义为同任何类型的数字信息相关的一般物体。然而，即使容器在功能方面有一些物理相似，但它们并不一定物理地反应那个功能及应用——在吉布森方面，它们缺乏自然“赋予”（Gibson，1979；Norman，1988，1999）。相反，象征被界定为与所表征的信息在物理上相似的物体。例如，在元DESK（Ullmer & Ishii，1997）中，数字地图上的很多物体被设计为物理上相似的建筑，通过移动物理桌面周围的物理建筑，该地图相关的部分就会显示。
最后，在Holmquist等的分析中，工具被定义为用作概念功能表征的物理物体。案例包括在本综述开始提及的方块系统——在该系统中，方块用于控制数字信息（Fitzmaurice等1995）及Storytent系统——在该系统中，使用火把或手电筒同数字显示交互（Green等，2002）。
在这些框架中，重点强调的维度：（1）控制设备的行为与因这些行为而产生的相应的结果，对不同输入设备进行比较：①在一类输入设备中，用户控制的形式是任意的，并且输入与输出之间没有特别的行为含义；②在另一类输入设备中，输入与输出之间的行为含义有非常密切的一致性，这也就是Hutchin等（1986）所指的“关联一致”。这种形式的映射可能导致输入——输出之间一对多的关系，也可能导致一对一的关系。（2）物理——数字表征映射的语义：这涉及物理表征与数字表征之间隐喻的程度，从完全相似（物理设备与它们相对应的数字部分相似）到毫不相似。（3）控制设备的作用：指控制设备的一般特征，而不考虑其行为及表征映射。例如，一个控制设备可以作为数字信息的容器，也可以作为数字指示物的表征性象征，还可以作为表征计算功能的一般工具。（4）对控制设备及输出表征关注的程度：在完全的象征系统中，用户主要的关注点是正在被操作的对象，而不是用户操作对象的工具，这或多或少受控制设备及输出结果的映射中所使用的隐喻之程度的影响。
当然，所有的这些维度及分析框架既不完全独立，也不完整。在有形用户接口试图达到“真正的直接操作”中，至少有两点：①行为与工具（物理的或数字的，用户用其与感兴趣的物体交互）之间的映射；②表征世界的含义和语义与被表征世界之间的映射。
三、为什么有形技术对学习有益？
1.肢体动作在学习中的作用
人们普遍认为，肢体动作对学习来说是非常重要的，心理学领域的诸多研究证据都很好的支持了这一点。皮亚杰及布鲁纳的研究都发现，在儿童能够利用符号解决问题之前，他们只有通过具体材料才能将问题解决——例如，儿童通过将水来回注入粗细不同的容器中，最终发现数量是守恒的（Bruner等，1996；Piaget，1953）。身体运动能够支持思考和学习，例如Reiser（Reiser等，1994）研究发现了运动如何支持儿童分类及如何提高在角度思考与空间想象任务中的记忆力，即使他们不能利用符号执行这些任务。
研究证据表明，即使儿童不能用口头语言表达他们的理解或不能用明确的意识表达所知道的事物，但在某种意义上说，他们也可以理解事物。Godlin Meadow（2003）的研究很好地证明了这一点，他通过很多研究发现了手势是如何帮助思考和学习的。Meadow也认为，伴随语言的手势在一些环境中能够减少个体的认知负荷，而在其他的环境中，能够促进信息的并行处理（Godlin Meadow，2003）。一些研究也发现，触摸物体能够帮助儿童学习数数——这不仅因为触摸能够使儿童跟踪所数的物体，而且也因为触摸能够发展儿童之数字世界与项目标签之间意义的对应关系（Alibali & DiRusso,1997）。Martin和Schwartz研究了9-10的儿童如何利用实际物体（圆形木棍）来解决分数问题。研究发现儿童经常通过神算或提供的材料之图片，不能解决的这些分数问题却能够通过移动物理材料来解决。然而，仅有行为是远远不够的——行为的益处依赖于行为与先前知识之间的特定关系。神经科学的最新研究表明，一些类型的视——空转换同运动系统相互联系，并且可能经由运动系统驱动（Wexler，2002）。同时神经科学的研究也发现，在指算的过程中，能够激活神经区域。指算是学习计算技能的一个发展战略，并且最终能够增强成年人的数字处理技能（Goswami，2004）。
2.教学和学习中物理操作（物理物体）的应用
在教学中，尤其是数学教学及教育发展阶段的初期，物理操作的使用已有一个很长的历史（Dienes，1964；Montessori，1917）。关于为什么操作具体物体能够帮助学习抽象数学概念的争论很多，其中之一便是Chao等（2000）所提出的“智力工具观点”——物理材料的作用源于物理材料显露过程中形成的智力图像的使用，这些物理物体的智力图像会引导和促进问题的解决（Stiqler，1984）。Chao等提出的另一个替代性观点是“抽象观点”——物理材料的价值存在于学习者从各种具体实例中提取作用关系的能力（Bruner，1966；Dienes，1964）。然而，关于物体操作效果的研究结果与传统教学方法并不一致，在传统的教学方法中，通常只有经过大量的教学和练习之后，操作才被认为是有效的（Uttal等，1997）。Uttal等对物理物体（因为它们具体、熟悉和非符号化）使得抽象容易的观点持否定态度。他们认为在使用物理物体的过程中，儿童拥有的困难至少一部分源于他们需要将物体解释为一个表征或其他事物，儿童需要看到和理解操作物体与数学表达的其他形式之间的关系。换句话说，儿童需要了解操作物体的表征功能——它能代表某个事物。
理解象征功能也并不是一个全由或全无的发育结果。研究发现，18个月-2岁的孩子就能够理解一个具体物体拥有一些象征功能（Leslie，1987）。然而，为理解特定的数学概念，对象征关系系统进行推理的能力却需要大量的培训与经验。Deloache对儿童“符号—思想”的发展做了大量研究，通过研究发现，在10个月到3岁之间，儿童的这种“符号——思想”能力就逐渐不断发展，但即使他们能够在物体与符号之间做出区别，他们有时仍旧犯一些奇怪的错误，像试图抓住书籍中的图片（DeLoache等，1998；Pierroutsakos & DeLoache，2003）或试图坐到书中的椅子上等（DeLoache等，2004）。
3.表征映射
我们对Ullmer和Ishii关于物理表征和数字信息之间映射的分析进行了概述，他们提出了一个新的概念——物理图像。在使用这一术语时，他们非常仔细地强调了图像的表征特点，并对其与符号进行了区分。在HCI使用中，一般说来，图像这一术语用来表征任何在显示器上出现的图画表征。哲学家Peirce对索引、图像（icons）和象征（symbol）三个词进行了区分：图像与物体本身表征的意思共享相同的表征特征；符号与它所表示的意义之间的关系是任意的；索引并不凭借共享其表征特征来进行表征，而是真正地代表或指向了它所要表达的意思。在本综述中，我们采用了Peirce对图像的定义。
依据有形接口对学习的赋予进行区分，将是非常有意思的。Bruner（1996）在其学习理论中，对制定形式表征、图像形式表征和符号形式表征进行了区分，他认为在规定领域的概念学习中，儿童按着制定——图像——符号这一表征形式的顺序进行学习。例如，一开始，儿童可能根据各种特征（如大小、颜色、形状等）对物体进行分类——他们自己制定了对分类的理解；如果他们能够通过图片来表征这些分类，那么他们就展示了自己的图像理解；如果他们能够使用口头符号来表征这些分类，那么他们就展示了自己的符号理解。图像表征与其所表征的物体之间有一对一的一致性或者说与其所表征的物体之间有些相似性，它们作为模糊的感觉运动表征（皮亚杰与布鲁纳在其发展理论中，都对其进行了深入研究）与明确、关联的符号表征之间的类比桥（Brown & Clement，1989）。
来自认知发展的更多最新理论也涉及表征系统的渐进明确表达——例如，Karmiloff-Smith在其表征重新描述理论中，就描述了儿童表征从模型形式到清晰形式的过渡。在她的理论中，儿童对某个领域（绘画、数学等）的学习始于对单一外部表征的操作。在这一层次，他们学到了高度具体的程序，这些程序并不适用于修订、自觉修改和口头报告，并且受指定环境条件的激发。逐渐地，这些表征会变得更加灵活，并且其内部也会发生变化。最后，儿童会对自己的表征进行不断的自我否定，并能够将这些规则和程序迁移到其他领域或表征模式中。皮亚杰、布鲁纳及Karmiloff-Smith所描述的“表征变化”在另一个具有高度影响力的学习理论——约翰·安德森学习理论中也有所体现，但却以相反的顺序。安德森的技能习得理论描述了从最初涉及有意识知晓与控制的精确或明确表征到实践自动化和模糊程序的过渡。
在前面部分介绍的关于有形接口表征映射系统的分析至少在表面上可以同认知发展与学习理论中的“表征变化”分析相类比。为支持学习的有形技术设计尽量做一些推理是非常有意思的，进行这一尝试最具影响力的教育研究者是西摩·派珀特（教育信息化奠基人）。
4.从物理表征到数字表征之间的映射：学习之争
派珀特“利用技术学习”的理论深受其导师皮亚杰的影响，其因为儿童开发了Logo编程环境而享誉四海。派珀特认为，基于在三维空间运动的个人感知运动经验，儿童拥有深刻且模糊的空间知识。他认为通过操作另一个物体来给孩子一个空间隐喻，他们就有可能逐渐开发出控制结构(用于达到一定效果，像在屏幕上创造图像表征)更加明确的表征。Logo编程环境为儿童操作海龟提供了一种简单的语言和控制结构。例如输入Logo命令序列，结果或者是鼠标在屏幕上勾勒出一个正方形，或者是机器人围绕地板上的正方形转动（McNerney，2004）。派珀特观点是：与之前更加抽象的教学方法相比，这种身体中心几何或海龟几何（Abelson & diSessa，1981）能够使儿童更容易地学习几何。McNernery这样说明它：它不是立即要求儿童描述如何命令海龟画一个正方形，而是要求儿童通过移动身体来探索如何创造一个正方形。也就是说，事实上正方形是走出来的。经过反复试验，儿童很快学会走几步，右转90度，然后这样重复四次就可以创造一个正方形。在这个过程中，儿童可能会被问及是否是在开始的地方结束的。经过这个练习，儿童就为通过编程让海龟做同样的事情做了很好的准备。最后，儿童得到的回报就是：看到海龟以与自己之前所作的同样动作在地板上转动（McNernery，2004）。
派珀特概括了使用这些活动的诸多学习原则，其观点包括：模糊推理能够清晰化；儿童自己的推理及结果最终能够被自己及他人看见；培养计划与问题解决能力；儿童推理过程中的错误能够清晰化，并且调试这些错误的方式也可用等等，所有这些都促进了儿童元认知能力的发展。
为理解输入表征和输出表征密切相关的有形计算，在该综述的第二部分已提供了与其相关的各种框架。最理想的案例是真正的直接操作——在这样的案例中，用户感觉到他们是和自己感兴趣的物体直接操作，而不是物体的符号表征（Fishkin等，2000）。派珀特的观点也涉及到了物理和数字之间的密切相关性。然而，对派珀特关于Logo、海龟几何及身体中心几何（McNerney，2004）具有很大优势的观点来说，很重的一个概念就是学习者的反思。对海龟几何来说，儿童并不是依赖身体在空间运动的经验来画正方形这样一件自然而然的事情，而是命令另一个物体产生与自己相同的行为，以对自己明晰的知识做出反馈。
“真正的直接操作”对学习来说也许并非最好的，接口设计的目标也并非总是提供“透明”接口，有时“不透明性”也可能是适合的，只要它能使学习者对自己的行动进行反思（O’Malley,1992）。在学习环境中，我们至少需要考虑表征映射的三个层次：①学习领域的表征（例如代表数学概念的符号系统）；②学习活动的表征（例如在屏幕上操作二烯烃块）；③内置于工具中的表征（例如通过使用鼠标来操作屏幕上的方块VS在真实世界实际移动方块）。
当设计学习的接口时，主要目标可能不是新物体的速度与易用。Golightly和Gilmore（1997）研究发现，同更加容易使用的接口相比，更加复杂的借口能够产生更加有效的问题解决。他们认为，对学习和问题解决来说，透明直接接口设计的规则需要被打破，设计应该降低学与习者执行任务不相关内容的认知负荷，从而使他们将认知资源合理分配于理解学习任务的教育内容。在Marshall等（2003）对促进学习的有形接口的分析中，也提出了同样的观点。
Marshall等讨论了两种形式的有形技术学习：表达形式与探究形式。他们借鉴了哲学家海德格尔创造的术语“应手状态”（readiness-to-hand），然后被Winograd和Flores（1996）用于人机接口设计，最近又被Dourish（2001）用于有形接口设计。这一概念暗示了我们利用工具工作的方式：我们关注于使用工具的任务，而不是工具本身。和应手状态相对的是“在手状态”（present-at-hand），其关注于工具本身。在Ackermann研究的基础上，他们认为有效的学习包括对领域的反思、具体化与推理，而不仅仅是在其中行动。
Marshall等提出的表达技术系统是指能够使学习者创造他们自己外部表征的技术——犹如Resnick提出的“数字操作”（digital manipulatives）（源于派珀特的惯例与Logo编程）。他们认为，通过学习者自己对明确主体的理解，他们能够使明显的矛盾、冲突观点和错误假设更加清晰可见。
Marshall等将这些表达形式的技术与探究技术系统相比较，在探究技术系统中，学习者关注于系统工作的方式，而不是他们正在建构的外部表征，这与派珀特关于调试程序对学习价值的观点相同。当程序不按他们预期的方式运行或机器人不按他们预期的方式工作时，学习者就必须返回，并对程序本身或技术本身进行反思，从而理解错误或故障出现的原因。通过这样做，他们开始对自己使用的技术进行反思。这一点也与情境学习的观点相一致：学习发生于“应手状态”破裂的时候。
Marshll等人认为有效的学习源于在“应手状态”（利用系统完成任务）与“在手状态”（关注技术本身）两种模式之间的跋涉。他们也提出了学习中利用有形技术的两种活动形式：表达活动——有形技术表征或体现了学习者行为（物理的或数字的）的活动；探究活动——学习者探究由设计者提供的、内嵌于有形接口的模型。探究活动既可以在实践层面执行，也可以在理论层面执行。
Sedig等做所做的研究对Marshll等的观点提供了一些支持。他们研究了接口操作方式对反思认知与概念学习的作用，设计了三种形式的七巧板：①直接物体操作（DOM）接口：在这种接口中，用户操作物体的视觉表征；②直接概念操作（DCM）接口：在这种接口中，用户操作被用于物体变形的视觉表征；③反思性直接概念操作（RDCM）接口：在这种接口中，通过脚手架使用DCM方式。通过对44个11-14的儿童进行研究发现，RDCM小组的学习结果明显优于DCM组，而DCM组又明显优于DOM组很多。
由Deloache及同事所做的关于儿童对符号理解及推理发展的研究使该领域研究者在有形技术领域中的物理——数字表征映射中为学习汲取含义时，提供了另一条注意。Deloache等（1998）认为，即使最明显或最形象的符号，我们也不能假设它们能够被孩子自然的理解为另一事物的表征，而不是符号本身。我们可能被诱导，认为高度逼真的模型或图片（符号与指示物极为相似）几乎不需要学习，即使很小的婴儿也能从图片上识别出信息。Deloache等认为识别出图片与指示物之间相似并不等同于理解了图片的本质。她与同事经过多年的研究发现，理解符号的问题并不仅仅存在于婴儿中，在儿童中也存在。
例如，儿童（2.5岁左右）在理解将房间的微型模型作为模型使用时存在困难。他们能很好的理解这是一个模型，并能够找出藏在这个微型模型中的物体，但他们在使用这一模型作为线索，在与模型完全相同的房间中找出与藏在微型模型中完全一致的真实物体时，却面临极大的困难（DeLoache，1987）。DeLoache认为这源于在这样的任务中表征的双重本质。在这些模型作为另一个空间的表征时，它们本身也是物体——例如，在微型房间中也可以藏东西。同时她也声称，儿童发现这样的任务很难，并且她认为这类模型既可以作为表征、亦可以作为有意思的物体，部分原因在于其本身作为一个物体就极富吸引力。她通过让孩子使用真实房间的图片而不是微型模型来验证自己的的理论，结果表明，很多儿童觉得任务简单了。这个研究及其他相关研究使得DeLoache及其同事提出，在假设高度真实的表征以某种方式使得从表征到指示物之间映射的任务更加容易时要特别谨慎。事实上，这恰恰与我们所期望的效果相反。她们认为，儿童在学习使用符号的任务时，意识到符号本身的特征比意识到符号所表征的物体更加重要。所以，将符号制作成高度逼真的具体物体，对儿童来说，意义更加模糊而不是更加清晰了。当然，将这些操作应用于大一些的儿童时，我们也要特别谨慎。
研究已经表明，藉由设计良好的学习活动，儿童（不管年龄大小）能够解决问题，并能够利用具体的物理物体执行符号操作任务，尽管当他们使用更加抽象的表征时，不能执行这样的任务。这并不是说物体是具体的，因而使得理解更加容易，而是说身体活动本身能够帮助建立表征映射，这些表征映射用于加强练习之后符号化的活动及感知运动表征的相继说明。然而，其他的研究也表明，建构适切的活动，以支持儿童对表征映射本身进行反思是非常重要的。DeLoache的研究表明，使儿童的注意力集中于像极了物体的符号可能会使他们更难将符号思考为表征。Marshall等（2003）也提出了有形技术支持的两种学习活动：表达形式活动与探究形式活动，并认为学习应处于两者之间。
四、利用有形技术学习的案例研究
1.物理图像：物理物体用作数字图像
最近针对非常小的儿童，研究者设计了各种数字玩具。CACHET项目（Luckin等，2003）探索了交互玩具在支持协作中的应用，玩具的目标对象是4-7岁的儿童。在该玩具中内置了传感器，这些传感器通过儿童操作玩具的各个部分被激发。这些玩具也可以同个人计算机相连，及同游戏软件交互来提供帮助（提供游戏内的帮助）。Luckin等对带有屏幕帮助软件的应用与来自于有形接口的软件应用进行比较，发现玩具的存在提高了儿童与他人及教师的交互。游戏垫子（Ryokai & Cassell，1999）是一个软件交互游戏垫子，它能够记录和重放儿童的故事，其目的是支持协作讲故事。空间的设计用来鼓励儿童使用软件玩具讲故事，当玩具的移动投射被投射在垫子上时，这些故事就被重放，并且伴随着相关的声音。因此，儿童既能够激活其他儿童讲的故事，也可以对这些故事进行编辑及创造自己的故事等。
在KidStory项目中，RFID标签作为故事角色内置于玩具中，当儿童将道具移动到特征阅读器附近时，就会触发相应的事件，包括角色呈现在屏幕上。有形观点系统（Mazalek等，2002）使用物理物体在多重观点故事中引航。当将物体放于交互表面时，与其角色观点相关的故事片段就会以图片或文本的形式在其周围放映出来。Chromarium是一个混合现实活动空间，它使用有形技术来帮助5-7岁的儿童试验或学习颜色混合（Rogers等，2002）。通过使用各种各样的物理和数字工具，儿童可以尝试各种不同混合颜色的方式。例如，其中的一个活动就是让儿童使用物理方块将不同颜色与每一物理方块表面的颜色相结合。通过将两块方块放在一起，儿童能够对颜色以及临近显示器上出现的数字动画相结合。通过带有反馈的颜色结合或颜色的重新结合，儿童能够直觉地同有色方块进行交互。另一个活动可以使儿童使用数字交互表面上的软件工具（不同于画笔）。在这个活动中，儿童能够拖拉或丢下不同的有色数字圆盘，来观察相应的混合。第三个活动也允许儿童使用数字交互表面，但这一次，儿童与数字图片的交互引发了相邻玩具风车的物理运动。通过对这些数字表征与物理表征之间的不同映射进行比较，Rogers等（2002）发现，熟悉的肢体动作与不熟悉的数字效果之间的关联在促使儿童对经历进行讨论及反思等方面非常有效。使混合颜色可逆的活动与立即反馈能够更加有效地支持反思活动，尤其是物理方块给儿童提供了一个更加多样的物理操作来鼓励他们探索。
2.传感器与数字探针
这一部分描述了一系列基于物理工具的有形设备，它们作为环境(像光、颜色、湿度)的传感器或探针。有形讲故事的设备包括与展示交互的普通闪光灯或光束。例如Storytent（Green等，2002）利用闪光控制帐篷（在帐篷上，有一个三维虚拟世界）上的物体。另一个使用闪光灯作为有形技术的案例是与数字Sandpin的交互，当用户协作将闪光照射在沙子上时，就会通过地面燃烧出一个虚拟的洞，来揭示下面的、用于告知诺丁汉城堡历史的图片（Fraser等，2003）。
使用物理工具与数字物体交互的另一个案例来源于前面提及的KidStory项目，在该项目中，用地板上的压力口为儿童创造一个“魔力毯”，通过它来引导儿童在三维虚拟世界中，协作完成他们的故事（Stanton等，2001a）。输入/输出刷（Ryokai等，2004）是针对四岁以上儿童设计的绘画工具,它以实际的物理绘画刷为模型，在其内部装入了一个很小的、带有光的视频照相机及光束传感器，其目的是帮助儿童思考艺术家使用颜色及纹理的方式。儿童可以在任何物理表面上移动这个刷子，来挑选颜色和纹理，然后在画布上描绘。研究者发现，当在幼儿园课堂中使用这个刷子时，儿童能够清晰的说出其环境中可用的模式与特点。
SENSE项目探究了用于支持实践方法（该方法用于科学课程的学习）的传感器技术的潜力。两个参与学校的学生都在自己当地环境设计和使用了污染传感器。该技术包括PDA和一氧化碳污染传感器。传感器的不同面上涂有不同颜色，这样当儿童随后检查传感器上的视频数据时，传感器面向哪个方向将非常清晰。通过这个设备，儿童就能够获取自己的传感器数据，而这些数据被下载到另外的视觉技术中，帮助他们分析数据，并理解科学家进行相关研究时相似的数据收集情形。
尽管我们在这一部分提及的很多关于物理图像的技术涉及相当复杂的系统，但想象相当简单、便宜的解决方案是可能的。例如，条形码标签及特征阅读器都是相当便宜的，标签能够内置于多种物体中，唯一稍微有点复杂的方面就是如何通过编程利用特征阅读器产生的数据。最后，传感器与数字探针在英国课堂，尤其是科学课中（以数据录入系统的形式）已有很长的一段应用历史。PDA及技术（像GPS）不断增加的易获取性使得考虑更加复杂、泛在的基于传感器系统的应用成为可能。教师甚至可以思考如何利用儿童的手机（尤其是随着能照相的手机可用性）作为探针来输入信息，并在班内分享这些信息。
五、对未来研究、应用、政策和实践的启示
对来自心理学领域和教育领域与物理物体相关的一些研究证据，人们认为物理操作对学习来说是有益的，因为：①身体行为在学习中是很重要的——儿童能通过自己的身体行为（像手势）来展示所学的知识，即使他们不能用语言表达；②具体物体在学习中是很重要的——例如，儿童通常能通过提供的具体物体来解决问题，即使他们不能通过符号或自己的大脑来解决；③物理材料能够使学习者产生智力图像，这些图像能引导和促使学习者在缺乏物理材料时将问题解决；④学习者能从多种具体实例中提取符号关系；⑤与更加符号化的物体相比，熟悉的物理物体能比较容易的被儿童理解。
此外，对有形接口和数字物体提出了如下几点：①支持并行输入，进而提高了与计算机进行表达和交流的能力；②在物理物体操作及空间推理方面，他们利用了先进的动作技能；③将传统的内部计算机表征外显化；④支持多用户协作应用；⑤物理表征体现了更加多样化的交互控制机制；⑥物理表征与积极介导的数字表征相关；⑦有形技术的物理状态体现了系统数字状态的关键方面。
1.对设计与使用的启示
尽管研究证据表明，使用具体物体的肢体活动能够支持学习，但其作用的发挥却依赖于活动与先前知识之间的联系，以及物理物体和数字物体之间特定的表征映射关系。例如，很多研究表明，如果物理物体做的太逼真，就会阻碍儿童（尤其是年龄很小的儿童）学习物体所表征的意思。通过对其他的研究进行综述，笔者也发现，所谓的“真正直接操作”（Gishkin等，2000）对以鼓励学习者反思和抽象为学习目标的应用型学习来说，可能并不是最理想的。一些研究者发现，“透明”或“真正易用”的接口有时会导致不太有效的学习，我们有时需要更多的，而不是更少的努力使学习发生。当然，由此得出我们应将支持学习的接口设计地非常难用也是错误的，我们的目的是将学习者的注意力和努力引向学习活动的目标，而不是让接口阻碍学习者的学习。派珀特也认为，允许学生建构自己的接口，可以使他们将注意力集中于将模糊知识清晰化。其他的一些研究者（Marshall等，2003）也支持这一观点，认为有效的学习应该包括表达活动（在这些活动中，有形技术表征或体现了学习者的行为）和探究活动（在这些活动中，学习者探究内置于有形接口的模型）。
2.对政策与实践的启示
在本综述中提及的很多技术，目前并没应用于教室，仍旧处于早期的原型形式。但一些技术，像Logo等已经用于小学教室很多年了，并且对一些技术只要稍作编程努力，就具有很大的潜在应用价值（像条形码，RFID标签等）。扩增现实软件也可以作为公共领域的工具包，与其他一般照相机、投影仪等一块应用，来为儿童创造更加有效的扩增现实实例——犹如由Adrian Woolard和同事在BBC创造性R&D所做的创新性工作。在中学科学中，数据记录与传感器等已使用了很多年。新的便携技术像PDA拓展了致力于创造强有力的校外移动学习环境系统的灵活性。即使这些技术目前还不能用，但这些方法背后的教育原理却可以作为思考教与学各科目中使用ICT创意的源泉。尤其是在儿童成长的早期，我们需要认识到，儿童可能并不理解在学习活动中所使用的物体表征意义，他们需要脚手架来帮助自己对物体特征及所表征更加抽象的特征之间的关系进行推理。
我们希望教师能够从“技术支持的学习以超越台式机及教室内的计算机”（例如，在基于ICT的活动与其他更多的物理活动之间创建联系）这一观点中得到更多的启示。例如，交互白板对教师来说是非常有吸引力的，因为他们可以使用熟悉的大班授课方式，但与PowerPoint相比，它们有更大的潜力。教师可以鼓励学生通过收集展示所需的信息与白板会议进行积极交互。教室中的物理展示可能与带照相的手机或数字照相机提供的数字展示联系起来。教师可能鼓励学生使用物理模型或三维物体或在纸上，模仿在屏幕上显示的活动。与传统垂直屏幕相比，数字展示可能以更加富于想象力的方式呈现，例如将内容投射在地板上，可以使学生围坐在共享的屏幕周围。展示可以与物理物体组合使用，教师能够通过操纵鼠标或显示器后的键盘，对展示做出一些变化，展示也可以投放在直板电脑上。这些变化不仅能加强基于计算机的表征与非基于计算机的表征之间的联系，而且也使社会与协作关系以有趣的方式发生变化。
[参考文献]
［1］Ackermann, E (1999). Pretense, models and machines, in: J Bliss,P Light and R Saljo(Eds),Learning Sites:Social and Technological Contexts for Learning(pp144-154). Elsevier.
［2］Ainsworth, S and VanLabeke, N (2004).Multiple forms of dynamic representation. Learning and Instruction, 14, 241-255.
［3］Chao, SJ, Stigler, JW and Woodward, JA (2000). The effects of physical material son kindergartners’learning of number concepts. Cognition and Instruction, 18(3),285-316.
［4］DeLoache, JS (2004). Becoming symbolminded. Trends in Cognitive Sciences, 8(2), 66-70.
［5］Fishkin, KP (2004). A taxonomy for and analysis of tangible interfaces. Personal and Ubiquitous Computing, 8(5), 347-358.
［6］Papert, S (1980). Mindstorms: Children, Computers and Powerful Ideas. Brighton: Harvester.
［7］Marshall, P, Price, S and Rogers, Y (2003). Conceptualising tangibles to support learning. Proceedings of the Interaction Design and Children (IDC’03), Preston, UK, ACM Press.
［8］MacKinnon, KA, Yoon, S and Andrews, G(2002). Using ‘Thinking Tags’to improve understanding in science:a genetics simulation.Proceedings of the Conference on Computer Suuport for Collaborative Learning (CSCL 2002), Boulder, CO.
［9］McNerney, T (2004). From turtles to tangible programming bricks:explorations in physical language design.Personal and Ubiquitous Computing, 8(5), 326-337.
［10］O’ Malley, C and Stanton, D (2002). Tangible technologies for collaborative storytelling.Proceedings of the 1st European Conference on Mobile and Contextual Learning (MLearn 2002), pp3-7.
[资料来源]
本综述报告刊发在英国的Futurelab中，供感兴趣的研究者进行讨论和评论。读者查阅原文可访问该网址获取：http://www.futurelab.org.uk/
[作者/译者简介]
Claire O’Malley:博士，英国诺丁汉大学心理学学院学习科学研究所教授，研究专长包括协作学习与问题解决、学习技术、人机交互等，在这些方面研究成果颇丰，发表论文数篇。
Danae Stanton Fraser：博士，英国巴斯大学心理学系，研究专长包括技术支持的学习效果的评价等，在这些方面研究成果颇丰，出版著作数本、发表论文数篇。
杨玉芹，在读硕士，华南师范大学教育信息技术学院，主要研究方向为教育技术学基本理论、用户信息行为。
焦建利，博士，华南师范大学教育信息技术学院教授。
Literature Review in Learning with Tangible Technologies
Claire O’Malley 1 Danae StantonFraser2 YANG Yu-qinJIAO Jian-li3
(1. Learning Sciences Research Institute, School of Psychology, University of Nottingham;
2. Department of Psychology, University of Bath
3. Future Education Research Center, South China Normal University, Gangzhou Guangdong 510631)
【Abstract】 We have tried in this review to outline the interactional capabilities afforded by tangible technology by analysing the properties of forms of action and representation embodied in their use. We have also reviewed some of the relevant research from developmental psychology and education in order to draw out implications for the potential benefits and limitations of these approaches to learning and teaching.we present case studies of educational applications of tangible technologies. Finally, implications are drawn for future research, applications and practice.
【Keywords】 Tangible computing; Ubiquitous computing; Augmented reality
本文责编：陶 侃