掩模优化技术是一种推进光刻分辨率极限,扩展现有光刻机服役寿命的重要分辨率增强技术。基于像素表征的掩模优化方法在实际应用中面临众多的技术难题,其中包括:(1)掩模可制造性难题,优化合成的掩模复杂度非常高,会极大的增加掩模的制造成本;(2)鲁棒性难题,掩模的光刻胶图形对生产工艺参数离焦和曝光剂量偏差的波动非常敏感,常规方法合成的掩模生产工艺窗口窄;(3)计算效率难题,一个先进的处理器芯片通常包含数十亿个晶体管,掩模图形非常密集复杂,优化的计算过程十分耗时。鉴于此,本学位论文从掩模可制造性、鲁棒性、和掩模优化计算效率三个方面开展研究,具体内容包括:提出了基于边缘距离误差的掩模成像质量评价标准,边缘距离误差具有“长度”的量纲,同时相对掩模具有解析的形式,通过它可以直观、高效的指导掩模优化。提出了基于滤波的掩模优化方法,该方法将掩模图形中的灰度、孤岛、小孔、锯齿、伸出项等复杂结构当成掩模图形噪声,然后根据掩模的可制造规则设计一个掩模滤波器,直接将滤波器集成到目标函数中的掩模上,从而来移除或阻止这些噪声在优化过程中产生。这种方法可以有效滤除掩模中细小、复杂的结构,并且保证了每次迭代合成的掩模都具有可制造性。分析了生产过程中工艺参数及其统计分布对掩模优化结果的影响。首先,推导了包含离焦和曝光剂量偏差参数的光刻系统正向模型表达式,接着建立了基于统计的鲁棒掩模优化模型,并将基于滤波的掩模可制造性增强方法推广到鲁棒的掩模优化模型中。通过仿真实验,验证了鲁棒优化方法合成的掩模对工艺参数变化具有鲁棒性,分析了离焦和曝光剂量偏差的统计分布对合成掩模图形的影响。开发了一整套的掩模优化数值求解算法。推导了掩模优化方向与迭代步长的计算公式,引入了PRP共轭梯度法和近似最优步长计算方法,提出了基于瀑布式多重网格算法的掩模优化流程。计算结果表明,相比常规计算方法,所提出的方法显著提高了计算速度,而且能够达到更小的目标函数值。本学位论文采用基准逻辑门电路结构图形对所提出的方法进行了仿真测试,并对比了目前主流的优化算法,包括罚函数方法和单一网格算法。结果表明,本学位论文所提出的方法能够优化合成一个复杂度低、成像质量好、工艺窗口宽的掩模图形,计算速度相比常规计算方法得到了显著提升。本学位论文系统的开发了一套基于像素表征的光刻掩模优化理论模型及方法,为实际应用中所面临的技术难题提供了有效的解决方案,论文所开展的研究工作丰富了现有的光刻掩模优化理论,为进一步推进光刻分辨率极限提供了一种高效的技术手段。