虚拟听觉环境是由人工产生或控制声学环境，使倾听者产生逼真的听觉感知。目前最常用的方法是动态合成双耳声信号并采用耳机(或扬声器)进行重放。它可以应用到双耳听觉研究、多媒体与虚拟现实等领域。目前国际上已有少数几个单位研制出了此类系统。然而，为了使得信号处理可以实现，通常只能降低系统的精确程度，因此提高系统的性能始终是一个开放的问题。另外国内还没有研制出这类系统。基于此，本论文在虚拟听觉环境方面开展了以下几个方面的工作：论文的第一项工作是改进虚拟听觉环境实时绘制算法。将主成分分析方法推广到近场HRIR，提出了基于主成分分析的多虚拟声源联合处理方法，给出了信号处理框图。对运算量进行了分析，结果表明，与传统处理模式相比，当声源达到一定数量时计算得到简化。提出通过改变权重系数实现HRIR的空间插值；改变权重系数、延时和标度因子实现运动声源及动态信息处理。这样不仅信号处理较简单，同时又能避免可察觉噪声。论文的第二项工作是构建了虚拟听觉环境实时绘制系统。为了满足系统的性能要求，硬件部分选择具有低延时特性的ASIO声卡、高刷新率且能输出6个自由度参数的头踪迹跟踪器、主频高（2.83GHz）的计算机、失真小的监听耳机；软件部分采用C++语言实现信号处理及接口等各项功能。为了方便系统用于双耳听觉研究，设计了HRTF参数、动态参数及环境信息、声源等常用的接口，其中HRTF参数接口包括传统的HRTF直接滤波及基于PCA的多声源联合处理两种方式。论文的第三项工作是测试了虚拟听觉环境实时绘制系统的滞后时间、场景刷新率、同时处理声源数量这3个系统客观性能参数。通过设计一个简单的机械装置来测试系统滞后时间，结果表明平均的系统滞后时间为25.4ms。通过Visual C++平台下的高精度定时函数及计算机串口两种方法测试刷新率，结果表明系统的场景刷新率均为120Hz；通过多线程技术将运算量分配给CPU各个核，根据CPU使用率（约90%）来测试能同时处理的声源数量，结果表明系统能同时处理的声源个数分别为280个（传统HRTF处理模式）、4500个（PCA多声源联合处理模式）。论文的第四项工作是对虚拟听觉环境实时绘制系统的性能进行了主观实验验证。首先设计了一种采用跟踪器报告虚拟声源位置的方法，实验中受试者只需将跟踪器的接收器指到虚拟声源位置，计算机能同时得到方向和距离数据。实验结果表明，该方法重复性好，方差分析显示测量数据准确有效；与口头报告法相比，结果离散性更小，效率更高，每次判断时间由19.8s降至7.2s。然后分别做基于KEMAR人工头远场和近场HRTF的虚拟声源定位实验。实验结果表明，对于远场HRTF的情况，动态信号处理可以基本消除前后方向的虚拟声源混乱现象，明显降低上下混乱率，可以完全消除头中定位效应。对于近场HRTF动态处理的情况，PCA方法与传统方法可取得相同的虚拟听觉重放效果。在一定的条件(侧向)下,采用近场HRTF可部分地产生不同的听觉距离感知。论文的第五项工作是虚拟听觉环境实时绘制系统的应用，通过实验研究了动态因素、个性化谱因素、信号带宽3个因素对声源定位的贡献。实验结果表明，动态因素是一个非常重要的定位因素，能基本消除前后方向的混乱现象，对提高方向定位准确度、降低上下方向的混乱率也有明显作用，距离定位方面能完全消除头中定位效应；个性化谱因素对降低上下方向的混乱率所起作用最大，对提高方向定位准确度，降低前后方向的混乱率也有贡献，但对声源距离定位没有影响；信号带宽与高频谱因素密切相关，对降低上下方向的混乱率有明显作用、对提高方向定位的准确度也有贡献，对区分前后镜像声源，高频谱因素的作用会被动态因素掩盖。本文的工作为国内进一步开展双耳听觉研究提供了一个实验平台，为虚拟听觉环境的应用提供了基础。