跨媒体计算:让计算机“看图说话”

来源 :中学生天地(A版) | 被引量 : 0次 | 上传用户:liuxin87675241
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
   提到“人工智能”,我们也许会一下子想到机器人。实际上,人工智能的应用远比我们想象的更广泛,比如苹果手机的Siri可以实现人机对话,百度、谷歌可以帮我们进行语言翻译,等等。
   那么,“人工智能”是什么意思呢?解释起来其实很简单。“人工”,顾名思义是指人造的、人为的,也就是我们人类动手创造或者改编出来的;“智能”就涉及到意识、自我、思维等多个概念了。总的来说,人工智能是一门关于模拟、拓展人的智能的学科,使机器能够胜任一些通常需要人类才能完成的复杂工作。举一个简单的例子,一个人要判断一张图片上的动物是猫还是狗,一下子就能做到;判断100张,可能需要好几分钟;判断10000张,就会非常伤脑筋了。而对具有人工智能的机器人来说,只要建立正确的模型,计算机就可以在一秒钟内判断几百万张图片的内容,而且不会有任何差错。
   随着互联网的迅猛发展,我们能够在网上(如新浪微博、QQ空间)看到越来越多的媒体数据(文本、图像、视频等)融合在一起,“跨媒体”成为表达主题或事件的一种新形式。比如一部刚要上映的电影,在网上不仅有它的评论,还能看到它的宣传海报和预告片,包括文字、图片、视频等各种媒体数据都有。这种多种媒体数据的结合,就是我们说的“跨媒体”。正因为“跨媒体”的运用,制作团队能够更好地表达电影的主题,也能够让更多的人了解电影。
   不断涌现的媒体数据也催生了“数据驱动”这一计算模式。根据这种计算模式,我们在处理信息时可以获取不同类型的数据。比如,我们常常看新闻报道,新闻报道中既有文字描述,又有与这些文字相对应的图片,而“数据驱动”就可以通过新闻报道这一资源获取文字和图片两种不同类型的数据。视频也一样,因为视频中既包括视觉图像信息,又包含语音听觉信息等数据。
   实际上,英国心理学家麦格克(McGurk)等人在1976年就已经证明:人类对外界信息的认知是通过整合不同感官信息而形成的整体性理解,任何感官信息的缺乏或不准确将导致大脑对外界信息的理解产生偏差。这个现象也被称为“麦格克效应(McGurk Effect)”。就像“眼观六路,耳听八方”是人类与生俱来的能力,我们要把听到的东西和看到的东西结合在一起,才能更好地理解、判断事物。
   现在,计算机的专家们正努力让计算机拥有“看图说话”的能力。比如,看到一幅“猫追蝴蝶玩”的图像,要求计算机也能像人一样,给出“猫追蝴蝶玩”这样的描述。要让人用一段话来表达一张图片或者一部电影的内容是很容易的,但如果你想让计算机干同样的事,那就有点困难了。至少我们手上的台式机或笔记本电脑是干不了的,就算给它配上摄像头之类的各种外部设备,它也干不了。在这个过程中,计算机得将一种类型数据转换为另一种类型数据,例如图像转换为文本,这就是跨媒体。可见,跨媒体对智能的要求是很高的。
   其实,我们人类学会看图说话也不是那么容易的,也需要一定的时间,所以让计算机学会“看图说话”更不可能是一蹴而就的事情。为了实现计算机自动识图,计算机专家们正在想办法让计算机学会对图像作简单的文字表达,也就是说,先让计算机掌握图像中的视觉对象(如“猫”和“蝴蝶”等视觉对象)与自然语言中的文本单词(如“猫”和“蝴蝶”等词汇)之间的对应关系。看到图片时,计算机先将“认识”的视觉对象(“猫”和“蝴蝶”)一个个“抠”出来,然后通过已经掌握的“视觉对象——文本单词”之间的关联,按图索骥,寻找哪些文本单词与这些视觉对象最匹配,最后再用一定的语法规则将单词组合起来,得到描述图片的句子(“猫追着蝴蝶玩耍”)。只有这样,计算机才算完成了“看图说话”的任务,实现了从图像数据到文本数据的“跨媒体计算”。
   可以设想,如果我们有一本汉英大词典,里面包含了足够多的相互配对的“英语单词——中文单词”,那么当给出一句英文后,我们就可以根据汉英大词典,将英文句子中每一个英文单词所对应的中文单词查找出来,然后再按照中文语法规则将这些中文单词组织起来,完成从英语句子到中文句子的翻译工作。同样,如果计算机掌握了良好的抠图技术,又存储了一本足够大、相互对照的“视觉对象——文本单词”词典,那么计算机就可以“看图说话”了!也就是说,当计算机能把越来越复杂的图像“抠”出来,并能用越来越完整、越来越准确的语句表达时(如“蓝天下,一只黑猫和一只白猫在草地上追逐一只花蝴蝶”),它才称得上有能力“看图说话”了。
   当计算机“看图说话”的能力提高到一定的水平,机器人就会看电视、看电影了,最后,就会和我们抢遥控器了。不对!机器人和我们抢遥控器,已经不是跨媒体技术范围内的事了。
   不过你不用担心,这些对人来说十分简单的工作,目前对计算机而言仍然非常困难。但我们相信,经过科学家们的不懈努力和深入研究,开启计算机“心智之眼”的时代会很快来临!
其他文献
如果可以让我对她说三句话,  我是不是会说轻轻地我来了。  石头上刻着美丽的中国字画,  只是为了心中的她远方的她。  如果可以让我讲关于她的故事,  我是不是第一个选择关于椅子——  哦不,是关于金权杖和木头腿,  一个严肃的国王和一群捣蛋鬼。  如果可以让我闭上眼睛尽情幻想,  就仿佛一块石头从天外坠落夜空,  在苹果树下,在康河,在叹息桥旁,  满眼都是时间简史和无尽的星光。  没有什么如果
不知从什么时候开始,看见蓝天成了一件很奢侈的事。  网络上,人人都在吐槽,人人都在呼吁。然而,有四个小伙伴说:解决城市雾霾,我们可以比当“键盘侠”做得更多!  最初,还是高一学生的王胜瑜、光浩宇、余梓骞、曹佳燕通过学校的JA社团结缘,四个人组建了团队,在各种头脑风暴之后,选择了平日里随处可见的行道树作为方案的切入口,诞生了“Future Tree”的概念。  FT(Future Tree的簡称)产
本刊记者:翁建平   本刊校园记者:焦 阳 潘宛青 李天原 吴子近    小编我的手边放着一本书,《星座小王子2008星运事件簿》。  谁不想多少预知一下自己在新年里会有什么样的“运气”呢?我自然也不例外。刚翻开书想要好好研究一下的时候,却看到了这样一则新闻:  一位叫胡雨婷的13岁武汉初一女生,有感于“星座”在同学中大行其道的现象,专门花了一个多月时间调查采访,还在那些“占星”网站上一次次输入验
今年的5月6日是立夏。立夏代表夏天的开始。  中国古代非常重视立夏这个节气,传统风俗众多,有些保留至今。“斗蛋”就是传统的立夏民俗游戏,在乡间尤盛。  每到立夏那天,家家户户都会煮一锅蛋,通常是用鸭蛋,鸡蛋、鹅蛋也行。煮好蛋后,用冷水浸上数分钟,待蛋冷却后,家长会挑一些放入用彩线编织的网袋中,然后挂在孩子们的脖子上。到了学校,孩子们便掏出蛋,三三两两聚在一起,玩斗蛋游戏。  蛋有两端,尖者为头,圆
他是“过儿”  同桌的新手机上挂了一只可爱的小熊,是四肢都可以掰下来的那种。  今天我忽然发现小熊少了条胳膊。于是,很好奇地问同桌:“咋少条胳膊了?”   只见她看了看小熊,满含深情地对我说:“他是‘过儿’!”    交学费也用支付宝  表姐是网购狂人,满口淘宝网、支付宝的。这天,她不知受了啥刺激,跟我们说:“我觉得交学费也该用支付宝,开学付款,上完课考完试给了成绩,再确认收货,好评差评看着办,这
从小父母就特别宠我,在家里我是个说一不二的“小公举”,一不顺心就发脾气,甚至会“怒发冲冠”。在家里,父母一定会让着我,这可能纵容了我的坏脾气,到了學校,我也会常常控制不住自己的情绪,对身边的同学发脾气。比如,几个朋友本来说说笑笑地在讨论一些趣事,可能谁无意间说错了一句话,我会立刻火冒三丈,大声斥责那个说错话的人,继而甩头就走,留下面面相觑的朋友们。这让我的人际关系时常“亮起红灯”。我也是真心讨厌自
期中考试分数下来,班里一群上课光知道睡觉、玩手机的同学,考差了就开始怨天尤人,好像从来没想过自己考差的原因。我考得也不理想,但是在班里算比较好的,然后那些平时光知道打游戏偶尔听听课的同学,因为考得比我差就开始“酸”我。我平时努力学习,认真听课、刷题的时候,他们在干什么呢?自己不努力,竟然来怪我?而且我的分数也不理想,我也很难过,凭什么在他们眼里就是虚伪了?他们这样对我,我真的蛮郁闷的。  麦 浪 
清明时节雨纷纷,路上行人欲断魂。  我们祭扫亲人,寄托哀思。  然而,故人已逝,生者当坚强。  疼爱我的外公前不久因病去世了,他老人家的离开对我打击很大。再也见不到亲爱的外公了,再也听不到外公的声音了,再也没法在外公那儿撒娇了,再也吃不到外公烧的拿手好菜了……一想起外公陪伴我的那些美好时光,以及外公已经不在我身边的残酷现实,我就忍不住难过流泪。现在,不管是在学校还是在家里,我常常闷闷不乐、无精打采
每年的运动会赛场上,除了摘金夺银大放异彩的运动健儿们,还有一群积极、努力、快乐的“重在参与”者。他们可能成绩不太理想,却为运动会增添了很多欢乐。仔细回想一下:你是否曾因为是班干部需要以身作则,不好意思置身事外,又或者被班主任要求“每个同学都应该踊跃参加运动会”而报名请战……当你自觉或被迫参与一些自己不擅长的运动项目时,又发生过什么比较囧的事情呢?快说出来让大家一起乐一乐吧!  @青奶油:初二开运动
前不久有一条热门微博,一位好心人把樱桃放在小刺猬的背上,让它背回家饱餐一顿。“不明真相”的网友们看了纷纷点赞,而科普学者却在转发中无奈地解释:“不知道多少可怜的小刺猬因为被好心人扎了一背的果子,感染细菌而死。不仅仅是刺猬,还有好多类似的事。”很多人这才意识到,原来我们印象中的动物故事,也许并不是大自然的真相……   动画和绘本里的刺猬,背上总是戳着红红绿绿的枣儿、苹果,十分可爱。人教版小学语文教