头戴式显示器作为一种穿戴式显示设备,需要满足小型化、轻量化、色彩饱和等特点,而简单轻巧的光波导是实现AR显示最有潜力的元件之一。光入和光出的耦合元件,以及微型化的显示器件作为关键元件,决定了整个系统的体积,因此,研究和制备大耦合效率的耦合元件具有重要意义。为制备性能优良的小尺寸头戴式显示器,本文从波导耦合元件和整个显示系统设计的角度出发,对目前的波导结构提出了优化方法。本文研究了一种新型结构的液晶光栅:偏振体全息光栅（Polarization Volume Grating,PVG）。该光栅由液晶材料制备并保留了体全息光栅的相关性质,如布拉格衍射等,且具有更大的响应带宽,同时也保留了普通液晶偏振光栅（Liquid Crystal Polarization Grating,LCPG）的偏振敏感性。本文将PVG置于波导应用环境中进行联合建模仿真,使用有限元法分析并对比研究了不同条件下PVG的耦合效率和响应带宽。研究了液晶光栅的制备流程和相关参数,通过改善偏振全息法的曝光光路和制备液晶光栅的关键技术,获得了高衍射效率的PVG波导结构。本文还提出一种结构紧凑的波导显示系统方案,将共同构成图像源部分的光源与反射型空间光调制器（Spatial Light Modulator,SLM）分开置于波导外侧的不同位置。该系统中采用具有大角度、高布拉格衍射效率的透射式PVG作为入耦合光学元件,PVG一侧与波导表面贴合,另一侧与反射型SLM紧密贴合,光源位于入耦合光学元件所在波导表面的对侧,从而实现了超薄结构的波导显示系统。通过仿真方式验证了系统设计理念的可行性,仿真结果表明透射式PVG可以作为入耦合光学元件,实现波导光学成像。该系统通过重新排布元件位置可以从多个维度减小波导的尺寸,大大减小波导系统的体积和重量,有利于头戴式显示器小型化的发展。