在日常生活中,人类时时刻刻都在摄取来自不同感官的各种信息,为了完成不同的认知任务,我们可能需要将注意力在各个感官通道上进行来回切换;当有的感官通道受到不可逆的损伤时,我们希望通过从其他感官获取相关信息来进行替代。本文主要围绕视觉与听觉跨模态转换阐述硕士期间的两项工作:其一,视觉与听觉跨模态转换的认知过程研究。本文采用行为学实验和脑电分析的方法,讨论了这种自上而下的注意力切换的行为学和电生理特征,对比了注意力从听觉切换到视觉与从视觉切换到听觉的不同特性,计算了感官间注意力切换所需要的时间以及对应的脑电成分,并使用事件相关电位(ERP)这种高时间分辨率的方法确定了接到注意力转移的任务以后,开始注意力转移的时间点。我们发现,注意力从视觉切换到听觉约需要152ms,而从听觉切换到视觉只需要约96ms。对于事件相关电位,听觉提示诱发的N1、P2幅值均比视觉提示诱发的大。注意力从视觉转移到听觉诱发了额叶和中央区一个2μV左右的负波,而视觉注意力的保持则表现为一个接近基线的信号;听觉注意力的保持诱发了一个位于额叶和中央区的2μV左右的负波,而注意力从听觉转移到视觉的过程却表现为一个接近基线的信号。考虑到ERP波形幅值反映了认知资源的分配,这很好地验证了“视觉主导认知过程(visual dominance)”的观点。此外,注意力的转移会造成听觉刺激诱发的ERP幅值增加,对于视觉刺激恰好相反,感官间的注意力切换会造成视觉刺激诱发的ERP幅值减小,我们猜测,这种现象与听觉对于注意力的自吸引效应和视觉注意力水平可能有一定关系。其二,基于听觉代替视觉的助盲系统SoundView升级优化工作。为了实现听觉代替视觉的目标,我们搭建了听觉引导助盲系统SoundView,它通过识别环境中的某些物体编码相应的语音播放给盲人听,告知盲人环境中重要物体的名称和方位。听觉引导助盲系统SoundView通过摄像头采集视频输入嵌入式系统进行数字图像处理和特征识别,根据特定物体所处位置构建三维立体声序列,盲人能够通过声音序列的不同区别物体,并利用三维立体声判断物体方位。为了避免复杂的模式识别算法,我们用条形码标记环境中的重要物体帮助识别。本课题前期已经完成了SoundView系统整体搭建,但是已有的系统存在处理速度过慢、有效识别范围过小等问题。为了改善系统性能,使SoundView更加具有实用价值,我们使用长焦镜头和分段特征识别算法扩展了有效距离,同时简化图像处理程序、使用系统库函数节省计算资源,大大提升了SoundView的处理速度,使得在0.5m-6.5m的范围内可以以12帧/秒以上的速度进行有效的条形码识别。