长期以来,研究人员一直致力于探索脑科学的奥秘。神经细胞分型是脑科学研究中的热点问题之一。RNA原位成像技术可以在不破坏脑片完整性的同时获取脑片内多种RNA的三维空间分布信息,有助于提高神经细胞分型的准确性。目前已有诸多RNA原位成像技术,但由于照明方式的掣肘,现有技术存在成像厚度不足的问题。本论文针对厚样本RNA原位成像,围绕光学仿真和实验测试研究了成像过程中的光束传输特征,以帮助提高照明方式以及光学系统的优化效率。主要内容简述如下:（1）针对厚样本RNA原位成像系统中光片照明端的研制需求（单次照明体积为200μm×10μm×50μm的均匀光片）,基于高斯光束设计并验证了照明方案。利用ZEMAX仿真中的POP（Physical optics propagation）分析研究了光片束腰厚度,并利用MZDDE工具箱在ZEMAX和MATLAB之间建立联系,实现了快速三维光片重建,帮助全面掌握照明光束传输特征,进而实现了基于柱透镜的光片照明方案设计。另外,实验证明焦距为100 mm的柱透镜在入射高斯光束光斑直径为8 mm时,可以满足上述所说的光片照明端的研制需求。（2）基于多色光片照明端的快速光路优化以及提高集成度的需求,利用仿真配合实验,研究了基于多模光纤耦合的光片传输特征。仿真和实验结果表明,基于多模光纤耦合的光片束腰厚度远高于高斯光片,并受聚焦物镜、光纤芯径、光路共轭比等多因素的影响;其中,光纤芯径越小、聚焦物镜NA越大,其光片束腰厚度越小,且光片束腰厚度与光纤芯径成比例,其比值为光路共轭比。在此基础上,基于芯径100μm×100μm的方形光纤,设计了基于多模光纤耦合的光片照明方案,实现了200μm×10μm×50μm的单次照明体积。（3）基于分形传输法研究了光片在生物组织内部的传输特征,并在此基础上跟ZEMAX光路追迹相结合,实现了全过程光束传输特征研究。结果表明,虽然在散射组织中随着传输距离的增大光片会变厚,但对于脑片组织而言,在50μm传播距离内仍可维持10μm的光片厚度。此外,通过实验验证了分形传输法在RNA原位成像全过程仿真的适用性;对PSF以及图像质量进行了研究,发现图像的荧光背景来源于离焦信号的堆叠,在组织散射程度、信号点密度、光片厚度一定,且NA满足需求时,尽量选择低放大倍数、高景深的物镜可降低背景。本文结合仿真和实验,研究了厚样本RNA原位成像过程中的光束传输特征。其中,针对照明光片传输特征的研究可以提升照明方案设计的效率,而对RNA原位成像全过程的光束传输特征研究可以帮助理解图像高背景来源以及系统优化,促进光片照明技术更好的应用于组织散射高的场景。