语言理解是高度复杂的信息加工问题,涉及对语言物理载体的感知、词汇加工以及句法、语义加工等多个加工阶段;本论文聚焦于语言理解的感知编码阶段。语言的感知编码机制与语言物理载体的性质密切相关:语音感知需要大脑实时编码转瞬即逝的语音听觉特征;而阅读过程中大脑可以通过调节眼动,较为灵活地分配注视时间和顺序。本论文在高生态效度的语篇理解场景下,分别利用脑电和眼动实验研究语音感知和阅读过程,构建了能够解释语音脑电响应和阅读眼动注视时间的计算模型;通过对比不同语言水平的受试者,发现了语言经验对语言视听编码机制的共性调节作用。论文研究一利用脑电实验研究语音包络的神经编码机制。研究首先分析了语音包络神经响应的计算机制。研究分析了线性时不变模型和非线性振荡模型这两类经典计算模型的相位性质,并发现实际测量的语音包络脑电响应的相位性质与线性时不变模型一致。在此基础上,研究通过线性时不变模型建模了语音包络跟踪响应,并分析其是否受到语言经验影响。为了分离语言经验对语音包络跟踪响应的影响,研究记录了两类受试者对同种语音刺激的脑电响应。语音刺激为粤语篇章,两类受试者分别为粤语母语者和不懂粤语者。同时,为了分析语音加工难度对语言经验调节作用的影响,研究在多种噪声强度下呈现语音。研究发现语言经验可以自适应调节语音包络的脑电响应:在低噪声下,语言经验减弱了包络的脑电响应;在高噪声下,语言经验增强了包络的脑电响应。这一结果表明语言经验可以调节语音加工的听觉特征编码,并且这种调节作用取决于语音加工难度。论文研究二利用眼动实验研究任务导向阅读理解过程中的眼动机制。研究选用了一种语言测试中常用的复杂任务进行实验——阅读者在实验中通过阅读篇章来回答问题。研究通过眼动实验记录了阅读者对每个词汇的注视时间,并构建了大规模的阅读理解标注数据集。在眼动机制建模方面,研究发现深度神经网络执行该任务的正确率与人类相似,并且深度神经网络中的注意力权值可以解释人类的眼动注视时间。进一步分析表明深度神经网络的注意力权值受到训练任务影响,而人类的阅读注视时间也显著受到答题目标的影响;深度神经网络在任务优化过程中,注意力权值分布逐步趋向于人类在同一任务下的阅读注视时间分布。在此基础之上,研究进一步通过比较母语者和二语者的注视时间分配,分析了语言经验对阅读者注视时间的影响。研究发现母语者和二语者的注视时间均受到答题目标以及刺激视觉特征、词汇特征等因素影响。相对二语者,母语者对每个词的注视时间整体偏短,而且受到答题目标及刺激视觉特征、词汇特征等因素的影响更弱。这一结果表明语言经验显著调节了阅读过程中的注视时间分配,而且二语者的注视时间更强地受到答题目标等因素影响。综上,本论文（1）验证了语音包络跟踪响应的线性时不变模型,提出了基于深度神经网络的任务导向篇章阅读的注视时间分配模型;（2）发现了语音包络的脑电响应和任务导向阅读过程中的眼动注视时间均受到语言经验调节,而且具有共性的调节模式——在缺乏语言经验的条件下,在语音理解和阅读过程中大脑均主动增强了对关键视听觉信息的表征;在语言经验充足的条件下,语言加工的效率更高,因此对视听加工的控制相对减弱。本文结论进一步解析了语言经验如何调节语言感知编码,所提出的计算模型也可以为进一步研究自然场景下语言感知编码机制提供有力工具。