随着计算机系统规模的不断扩大和复杂性的不断增长，系统可信性问题成为网络安全领域日益关注的焦点，而传统的可信理念和技术由于不具备自我管理的能力和缺乏自主优化的特性，对随时可能出现的网络服务异常状况显得无能为力，无法满足复杂多变的系统可信性需求。如何在不增加计算系统复杂度的同时，使系统在复杂多变的网络环境中具备自主优化特性，提高系统服务的可信性能，成为当前网络系统可信性研究中亟待解决的关键问题。自律计算能够克服计算系统的异构性和复杂性，被认为是实现系统自治优化、解决系统可信性问题的新的有效途径。本文针对安全威胁导致网络系统服务可信性能下降的问题，在分析现有系统可信性模型的基础上，借鉴自律计算思想，通过赋予系统自我管理、资源动态调整等自律特性，系统开展基于自律计算的系统可信性自优化模型、基于Q-learning算法的系统可信性自优化方法等内容的研究，主要研究工作集中在以下几个方面：(1)全面系统地阐述了系统可信性研究的基础理论和相关技术，通过分析目前系统可信性研究中各种技术和方法存在的问题，引入建立具有自律特性的网络系统的必要性。(2)针对安全威胁导致网络系统服务可信性能下降的问题，将自律计算机理应用于网络系统安全研究中，提出了一种基于自律计算的系统可信性自优化模型。该模型主要包括三大模块：自律控制模块、系统关键特征参数提取模块和可信性自优化模块。在自律控制方面给出了自律单元的建立方法以及自律管理者的工作机制等；在系统关键特征参数提取中，基于贝叶斯网络分类方法，给出了一种最大似然函数估计的关键特征参数提取算法，有助于进一步确定影响系统可信性的因素，仿真实验结果表明，该方法能够有效提高检测准确率；在自优化方面，以关键特征参数为优化对象，拟合自律计算设计自主优化算法，提高系统可信性能。(3)提出了一种基于Q-Learning的系统可信性自优化算法，该方法以影响系统可信性能下降的关键特征参数为控制对象，使用三层前馈神经网络作为状态-动作对选取方法的逼近器，并综合系统服务性能变化情况及服务的可用性来计算环境奖赏函数值，利用Q学习的自主学习特性和预测能力，实现系统服务可信性能最优化。