光纤通信技术在过去的几十年中一直保持着高速发展,支撑着信息化程度越来越高的社会和经济。为了保持目前的发展势头,在光纤通信的物理层面上,我们需要不断地开发新型的光信号传送媒质和光信息处理器件。光纤是光纤通信系统的基础组件,对其进行的革新将具有根本性的意义。新型光纤的开发可以从两个角度开展：改变光纤的几何结构；使用新型介质作为光纤的填充材料。对于前者,已经发展得较为成熟的光子晶体光纤技术是其代表；对于后者,如考虑用手性介质或负折射介质作为光纤的填充材料,研究依然处于基础阶段。本论文以填充手性介质的有限层光纤为研究对象,利用模式分析主要研究其中最特殊的两类：手性阶跃剖面光纤—最简单的手性光纤；手性布拉格光纤—最简单的手性光子晶体光纤。本论文首先研究了手性有限层光纤的一般模式特性。考虑较为一般的介质电磁参数(手性参数任意；介电常数和磁导率的实部同号,实部的绝对值大于虚部的绝对值),发展了手性有限层光纤的模式理论,然后基于模式理论的镜像对称性阐述了手性有限层光纤中模式分裂的物理内涵：无论在非手性有限层光纤的哪一层中引入手性(结构的镜像对称性破缺),均会引起那些原本二度简并且互为镜像的模式发生分裂(结构所支持的态的镜像对称性破缺)。针对手性非负折射的阶跃剖面光纤,导出了导模的截止条件,研究了光纤中的模式分裂问题,发现了阻抗匹配条件下模式分裂的严格路径,研究了阻抗失配条件下芯层和包层中的手性对模式分裂不同的贡献方式。另外,指出了包层具有手性的阻抗失配阶跃剖面光纤的单偏振模导行特性。针对手性负折射的阶跃剖面光纤,研究了横电磁模导行的问题,导出了横电磁模的导行条件,指出了光纤中横电磁模所具有的反直觉的性质—模场任意性—模式的电磁场分布由任意的解析复变函数描述。基于横电模独特的模场空间分布性质,从概念上提出了一种新型的空分复用。一维光子晶体光纤的光场约束特性可以从一维光子晶体的能带理论获得很好的理解。作为研究手性布拉格光纤的前提,本文整理了非手性一维光子晶体的能带理论,发展了手性一维光子晶体的能带理论。给出了非手性介质界面上必然存在布儒斯特角的严格证明,从而解释了为什么在非手性一维光子晶体中实现三维完全带隙,原胞包含的介质层数目至少为3。对于手性一维光子晶体,发现若巧妙地设计晶格结构,在原胞包含的介质层数目为2的情况下即可以实现三维完全带隙。研究了仅芯层具有手性的布拉格光纤和具有完全带隙手性包层的空芯布拉格光纤的模式特性。对于前者,指出了光纤支持圆偏振模的条件,并发现若在TM运转的非手性布拉格光纤的芯层中引入微弱手性,则可以使得该光纤同时具备波长选择和圆偏振选择。对于后者,发现完全带隙有望极大地压制包层介质的材料吸收对模式损耗的贡献。